有什么办法可以降低百度爬虫对服务器资源的占用。。。

jeffreyhhh · 发表于 2009-5-4 21:25:39

是有人采集你的站吧

ultramanclub · 发表于 2009-5-4 22:13:10

不是采集。

[ 本帖最后由 ultramanclub 于 2009-5-4 10:29 PM 编辑 ]

ultramanclub · 发表于 2009-5-4 22:13:40

采集我的站没意义的，因为采集者的手工工作量会非常大

ffnn · 发表于 2009-5-9 20:51:43

月光上面有个关于这方面的方法。
对百度不关心，没读，你自己看看有用不。
还是在robot.txt里禁止。
http://www.williamlong.info/archives/1754.html

ultramanclub · 发表于 2009-5-9 22:38:36

在.htaccess的办法对百度起到作用了。

kingto · 发表于 2009-5-10 10:08:13

不怕~資源多，用不完