采集器/爬虫 ip收集

大漠孤狼

经过我们的观察已及很多站长的反馈，网站的流量与资源有差不多一半是被各种各样的采集器，爬虫，蜘蛛等等非正常访问消耗掉了。其中有些是有用的，像搜索引擎的蜘蛛，大部分网站的流量就靠他们了，还有很多是没有用的，像采集，email搜索的爬虫等等。经过我们观察，有很多固定网段的不明爬虫消耗大量资源。我们根据自己网站的统计以及会员反映收集整理一个常见爬虫的IP段供大家参考。
同时将陆续整理一个搜索引擎的ip列表，以方式误将搜索引擎禁止了。
欢迎大家举报恶意IP，发表自己的意见，一起完善列表。

不明ip：
1。 221.194.136 段  浏览大量页面，不清楚是什么爬虫，初步判断不是搜索引擎

2。 124.115.0  页面浏览数非常大，搜索结果显示非常多的网站遇到此IP，初步判断不是搜索引擎 参考：http://www.discuz.net/thread-767613-1-1.html

[ 本帖最后由 大漠孤狼 于 2007-10-30 10:46 PM 编辑 ]

大漠孤狼

占位

大漠孤狼

占位

大漠孤狼

禁用了这两个IP段之后资源占用马上降下来了