MJ12bot 这个蜘蛛要不要屏蔽

h058 · 发表于 2010-5-11 16:04:44

如题！有什么用

h058 · 发表于 2010-5-11 16:06:08

"Mozilla/5.0 (compatible; MJ12bot/v1.3.2; http://www.majestic12.co.uk/bot.php?+)"

h058 · 发表于 2010-5-11 16:06:38

这个蜘蛛爬行非常频繁，到底要不要屏蔽啊

add.c · 发表于 2010-5-11 16:07:45

奇虎的蜘蛛随便你

h058 · 发表于 2010-5-11 16:08:57

奇虎的不是 qihoobot 这个吗？

add.c · 发表于 2010-5-11 16:13:25

不好意思, 搞错误了. 不是奇虎的蜘蛛

goldstein · 发表于 2010-5-11 16:19:44

如果你是中文站，直接把他封掉，免得浪费流量。

英国的蜘蛛，很早就看到过，也没看到带来什么流量，不知道乱爬N年爬什么劲。

复制代码

h058 · 发表于 2010-5-11 16:28:25

现在的流量没有达到300G 速度还可以，先让他逍遥一段时间，以后K了他

add.c · 发表于 2010-5-11 16:37:34

没用的东西就禁掉不是你说的没有到300G 就不禁

h058 · 发表于 2010-5-11 16:40:29

我现在的网站好像还蛮正常的，速度之类，一定要禁掉吗？不知道版主有什么深入的考虑吗，请指教

[其他] MJ12bot 这个蜘蛛要不要屏蔽