小心SOSO爬虫

大漠孤狼

今天仔细看了一下日志，发现IP段58.61.164每天占用流量100多M，本月点击每个IP都是上万，到网上搜索了一下这个IP段是SOSO的蜘蛛

看到很多网站已经被他搞挂掉了。
用虚拟主机的用户最好自己查看一下日志，或者干脆禁止他的IP地址就可以了，否则虚拟主机很容易被它搞得超资源。
可以在.htaccess中加入下列语句禁止IP
order allow,deny
deny from 123.45.6.7
deny from 12.34.5. (整个C类地址)
allow from all


附一个搜索引擎蜘蛛的IP地址列表，网上找到的，不知道准确度如何。另外大家如果有其他数据欢迎补充：

序号        IP                    注释

1          202.106.186.*        163蜘蛛
2          202.108.36.*        163蜘蛛
3          202.108.44.*        163蜘蛛
4          202.108.45.*        163蜘蛛
5          202.108.5.*        163蜘蛛
6          202.108.9.*        163蜘蛛
7          220.181.12.*        163蜘蛛
8          220.181.13.*        163蜘蛛
9          220.181.14.*        163蜘蛛
10        220.181.15.*        163蜘蛛
11        220.181.28.*        163蜘蛛
12        220.181.31.*        163蜘蛛
13        222.185.245.*        163蜘蛛

14        202.165.100.*        3721蜘蛛

15        220.181.19.*        百度蜘蛛
16        159.226.50.*        百度蜘蛛
17        202.108.11.*        百度蜘蛛
18        202.108.22.*        百度蜘蛛
19        202.108.23.*        百度蜘蛛
20        202.108.249.*        百度蜘蛛
21        202.108.250.*        百度蜘蛛
22        61.135.145.*        百度蜘蛛
23        61.135.146.*        百度蜘蛛

24        64.124.85.*        become.com

25        61.151.243.*        china蜘蛛

26        202.165.96.*        gais.cs.ccu.edu.tw

27        216.239.33.*        google蜘蛛
28        216.239.35.*        google蜘蛛
29        216.239.37.*        google蜘蛛
30        216.239.39.*        google蜘蛛
31        216.239.51.*        google蜘蛛
32        216.239.53.*        google蜘蛛
33        216.239.55.*        google蜘蛛
34        216.239.57.*        google蜘蛛
35        216.239.59.*        google蜘蛛
36        64.233.161.*        google蜘蛛
37        64.233.189.*        google蜘蛛
38        66.102.11.*        google蜘蛛
39        66.102.7.*        google蜘蛛
40        66.102.9.*        google蜘蛛
41        66.249.64.*        google蜘蛛
42        66.249.65.*        google蜘蛛
43        66.249.66.*        google蜘蛛
44        66.249.71.*        google蜘蛛
45        66.249.72.*        google蜘蛛
46        72.14.207.*        google蜘蛛

47        61.135.152.*        iask蜘蛛

48        65.54.188.*        msn蜘蛛
49        65.54.225.*        msn蜘蛛
50        65.54.226.*        msn蜘蛛
51        65.54.228.*        msn蜘蛛
52        65.54.229.*        msn蜘蛛
53        207.46.98.*        msn蜘蛛
54        207.68.157.*        msn蜘蛛

55        194.224.199.*        noxtrumbot

56        220.181.8.*        Outfox
57        221.239.209.*        Outfox

58        217.212.224.*        psbot

59        219.133.40.*        QQ蜘蛛
60        202.96.170.*        QQ蜘蛛
61        202.104.129.*        QQ蜘蛛
62        61.135.157.*        QQ蜘蛛
63        219.142.118.*        sina蜘蛛
64        219.142.78.*        sina蜘蛛

65        61.135.132.*        sohu蜘蛛
66        220.181.26.*        sohu蜘蛛
          220.181.19.*

67        61.135.158.*        tom蜘蛛

68        66.196.90.*        yahoo蜘蛛
69        66.196.91.*        yahoo蜘蛛
70        68.142.249.*        yahoo蜘蛛
71        68.142.250.*        yahoo蜘蛛
72        68.142.251.*        yahoo蜘蛛
73        202.165.102.*        yahoo中国蜘蛛
74        202.160.178.*        yahoo中国蜘蛛
75        202.160.179.*        yahoo中国蜘蛛
76        202.160.180.*        yahoo中国蜘蛛
77        202.160.181.*        yahoo中国蜘蛛
78        202.160.183.*        yahoo中国蜘蛛
79        72.30.101.*        yahoo蜘蛛
80        72.30.102.*        yahoo蜘蛛
81        72.30.103.*        yahoo蜘蛛
82        72.30.104.*        yahoo蜘蛛
83        72.30.107.*        yahoo蜘蛛
84        72.30.110.*        yahoo蜘蛛
85        72.30.111.*        yahoo蜘蛛
86        72.30.128.*        yahoo蜘蛛
87        72.30.129.*        yahoo蜘蛛
88        72.30.131.*        yahoo蜘蛛
89        72.30.133.*        yahoo蜘蛛
90        72.30.134.*        yahoo蜘蛛
91        72.30.135.*        yahoo蜘蛛
92        72.30.216.*        yahoo蜘蛛
93        72.30.226.*        yahoo蜘蛛
94        72.30.252.*        yahoo蜘蛛
95        72.30.97.*        yahoo蜘蛛
96        72.30.98.*        yahoo蜘蛛
97        72.30.99.*        yahoo蜘蛛
98        74.6.74.*        yahoo蜘蛛

99        202.108.4.*        中搜蜘蛛
100      202.108.4.*        中搜蜘蛛
101      202.108.33.*       中搜蜘蛛
102      202.96.51.*        中搜蜘蛛
103      219.142.53.*        中搜蜘蛛

inori

= =
有些IP好象很熟悉。。。
以前BH日志里看到过

大漠孤狼

原帖由 inori 于 2007-8-25 04:31 PM 发表
= =
有些IP好象很熟悉。。。
以前BH日志里看到过

我看了一下我们的流量，17G当中有近6G是非人类搞出来的
看来资源占用方面还有很多问题可以研究。

蜘蛛，各种爬虫很多，好的，或者能带来流量的要留着，其他的可以。。。掉，哈哈
别把baidu和google的ban掉了

waisy

Latest Visitors to
Host: 66.249.70.70
/robots.txt
Http Code: 200 Date: Aug 25 00:56:33 Http Version: HTTP/1.1 Size in Bytes: 62
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

最后访问记录满屏都是机器人的.
比我自己访问的还勤快

Agent: BlogsNowBot, V 3.0 (+http://www.blogsnow.com/)
Agent: Moreoverbot/5.00 (+http://www.moreover.com)
Agent: Technoratibot/0.7
Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)

好多不认识的机器人..

广木

各位..在哪里看啊..请告知..

大漠孤狼

原帖由 广木 于 2007-11-6 01:15 AM 发表
各位..在哪里看啊..请告知..

cpanel的统计，原始日志，还有论坛的统计，多了就能觉察到