MJ12bot 这个蜘蛛要不要屏蔽

h058 · 发表于 2010-5-11 17:03:16

在线等

add.c · 发表于 2010-5-11 17:08:15

原帖由 h058 于 2010-5-11 16:40 发表
我现在的网站好像还蛮正常的，速度之类，一定要禁掉吗？不知道版主有什么深入的考虑吗，请指教

没有什么特别的, 蜘蛛爬的不是占用资源吗
虽然影响不大但是你又何必让他怕, 说不定自己网站到负载极限的时候这个爬虫就成最后一根稻草

h058 · 发表于 2010-5-11 17:14:09

多谢指教，我还有个问题：请问我在写规则的时候，有两种方案：
1. 允许所有的蜘蛛爬，然后禁止某个或者某几个蜘蛛

2.禁止所有的蜘蛛爬，然后允许几个热门的蜘蛛爬，比如说googlebot

你说那种方案比较好？请指教，在线等，谢谢

goldstein · 发表于 2010-5-11 17:20:46

1是黑名单，2是白名单。

明确告诉你，最好用1，2会引起不必要的麻烦。比如Google会伪装成其它蜘蛛或者人来爬，之所以这样做，它要验证你是否会针对Googlebot单独设特殊页面，这在它看来是作弊。

h058 · 发表于 2010-5-11 17:23:15

原帖由 goldstein 于 2010-5-11 05:20 PM 发表
1是黑名单，2是白名单。

明确告诉你，最好用1，2会引起不必要的麻烦。比如Google会伪装成其它蜘蛛或者人来爬，之所以这样做，它要验证你是否会针对Googlebot单独设特殊页面，这在它看来是作弊。 ...

谢谢，受教了，不慎感谢

[其他] MJ12bot 这个蜘蛛要不要屏蔽