如何阻止 sogou 爬虫访问

crazy4u · 发表于 2009-3-27 23:46:39

最近网站的访问严重不正常，刚刚看了log文件，原来sogou的爬虫每10秒钟就抓取一次页面，我想阻止掉它，你们有什么好的方法吗？

先行谢过

addmyin · 发表于 2009-3-28 01:03:09

您真受搜狗喜爱。。
封它ip，sogou不看robots.txt的。

crazy4u · 发表于 2009-3-28 10:52:39

麻烦就在它不遵守robot.txt，想封IP又怕误伤别人，麻烦啊

ffnn · 发表于 2009-3-28 14:40:15

这里有个帖子是搜狗的IPs吧，找找。

crazy4u · 发表于 2009-3-28 23:47:13

我晕，居然没有找到搜索区

ffnn · 发表于 2009-3-28 23:50:07

建议用google： site:idcspy.com XXX

kingto · 发表于 2009-3-29 09:35:13

polo9 · 发表于 2009-3-29 17:26:22

sogou IP很好好找吧

chengnuomima · 发表于 2009-3-30 05:08:26

晕，我还专门把网站提交给sogou了呢