最新观察

wangxinxx · 发表于 2007-7-24 00:05:57

发现国内开始有一些比较大的封IP动作了，目前发现６月１９日以后，百度网通的爬虫已经无法得到一些国外的数据了。相信情况会越来越......

puyang · 发表于 2007-7-24 00:36:04

你怎么知道的？

百度网通的爬虫已经无法得到一些国外的数据了

footballmanager · 发表于 2007-7-24 10:39:29

。。。。

[ 本帖最后由大漠孤狼于 2010-1-9 10:32 AM 编辑 ]

大象无形 · 发表于 2007-7-24 13:28:37

原帖由 wangxinxx 于 2007-7-24 00:05 发表
发现国内开始有一些比较大的封IP动作了，目前发现６月１９日以后，百度网通的爬虫已经无法得到一些国外的数据了。相信情况会越来越......

请说明下观察过程，呵呵

大漠孤狼 · 发表于 2007-7-24 13:35:34

如果封了，电信网通都得不到数据的。。。。

wangxinxx · 发表于 2007-7-24 19:51:58

仔细的观察了一段时间，发现百度有两个爬虫来我的站，一个是电信的IP，一个是网通的IP。好象网通的IP访问国外的主机速度要快些，所以抓取的也多。但是从6月19日－20日左右开始，网通的IP访问网站，但是抓取不到数据。大家看下面：
————————————————————————————
/plus/view.php?aid=22
Http Code: 200 Date: Jul 24 04:42:34 Http Version: HTTP/1.1 Size in Bytes: 0
Referer: -
Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)

————————————————————————————————————
所有的记录都是这样的，说明什么问题？我想应该不是百度封站，因为如果封站，根本他就不理了。另外就是GΓШ封IP，也不是，因为封了服务器就不会有200的记录了。
那么说明什么情况呀？我个人认为GΓШ（或其他的）在控制百度的抓取方向。同样的情况发生在HG,LP,DH三个空间的4个IP上（有两个是独立IP)。
但是在百度电信的IP上没有发生这样的情况。其他的搜索引擎也没有发生这样的情况。而且这个情况是从6月20日左右开始的。
百度同样天天访问我的站，但是Size in Bytes: 0
还有一点要说明的是我的网站是中文网站，另外肯定不是违法内容。

大家根据上面的情况，都看看是什么情况导致这样的结果。如果能想办法不再出现这样的情况，我也感谢大家。

大漠孤狼 · 发表于 2007-7-24 19:56:04

原帖由 wangxinxx 于 2007-7-24 07:51 PM 发表
仔细的观察了一段时间，发现百度有两个爬虫来我的站，一个是电信的IP，一个是网通的IP。好象网通的IP访问国外的主机速度要快些，所以抓取的也多。但是从6月19日－20日左右开始，网通的IP访问网站，但是抓取不到数据。大家看下面：
— ...

目前为止还没发现GΓШ有这种功能

puyang · 发表于 2007-7-24 19:58:56

你用什么东西看到这些内容的？

wangxinxx · 发表于 2007-7-24 20:02:41

cpanel是有个Subdomain Stats－》Latest Visitors

GΓШ没有的功能，但是也不象百度在做怪，不太懂了。从6月19日－6月20日左右有的这种情况。