GeoHasher/Nutch-1.0是什么蜘蛛 重不重要

h058

GeoHasher/Nutch-1.0 (GeoHasher Web Search Engine; geohasher.gotdns.org; geo_hasher at yahoo * com)

天毅

geo_hasher at yahoo * com

yahoo的蜘蛛，还是让他爬吧，忍受一段时间

天毅

http://en.wikipedia.org/wiki/Geohash
http://geohash.org/

goldstein

不是Yahoo的蜘蛛，只是此蜘蛛的作者用的是yahoo的邮箱进行联系：

geo_hasher@yahoo.com

其官方网站也打不开，geohasher.gotdns.org

IP 段都来自 ThePlanet 机房，可以肯定不是 Yahoo 的蜘蛛。

74.52.43.10 as early as 9/4/2009 1:52:00 PM
174.121.74.122 as early as 4/27/2010 5:27:00 PM
174.121.74.226 as early as 4/21/2010 11:49:00 PM
174.121.74.234 as early as 4/16/2010 12:07:00 PM
174.121.75.26 as early as 4/21/2010 1:45:00 AM
174.121.75.42 as early as 4/27/2010 8:52:00 AM
174.121.88.26 as early as 4/25/2010 5:20:00 AM

我的建议是 .htaccess 封杀所有具有 Nutch 关键字的 UserAgent ，因为 Nutch 是一套用 Java 开发的开源网络搜索组件，很多垃圾蜘蛛都用它来开发，所以建议全部屏蔽。

h058

原帖由 goldstein 于 2010-5-14 09:56 AM 发表
不是Yahoo的蜘蛛，只是此蜘蛛的作者用的是yahoo的邮箱进行联系：

geo_hasher@yahoo.com

其官方网站也打不开，geohasher.gotdns.org

IP 段都来自 ThePlanet 机房，可以肯定不是 Yahoo 的蜘蛛。

74.52.43.10 as early as 9 ...

谢谢

cqboy2003

高手多啊，但是为什么要屏蔽蜘蛛呢，

goldstein

浪费流量不说，有的恶意蜘蛛爬起来和DDoS差不多效果。

ffnn

封杀，万一他不遵守规则呢