接大漠文章，小心baidu蜘蛛

该死的布克 · 发表于 2007-9-7 00:40:38

上次看大漠的 blog 说要小心 soso 的爬虫
今天看了下统计，感觉 soso 那是小虫

baidu 的才是大虫，google都没这么狠的
所以如果不是特别想做seo 或垃圾站什么的
倒是应该稍微禁止或至少限制下 baidu 的蜘蛛才对

它居然今天一天吃掉我近300M的流量

haidawang · 发表于 2007-9-7 00:51:59

限制ip 段吗？

大漠孤狼 · 发表于 2007-9-7 10:42:57

百度的流量是大，但是没办法，靠他活命的。。。一些不需要索引的文件最好在robot里面禁止掉，这样就节省一些

soso的很异常