LUNARPAGES一般能支撑一天多少IP的访问量?

dudu

原帖由 大漠孤狼 于 2007-9-3 11:15 AM 发表

我看我们的统计，非浏览器流量占将近50%，所以如果能在这方便节省下来可以提供很多流量
比如说盗链
soso 搜狐 中搜之类的垃圾蜘蛛
离线浏览器和采集 ...

如何禁止soso 搜狐 中搜这几个蜘蛛呢？把他们彻底禁止有办法么？我不要了，有google baidu即可。
你说的这些都如何禁止？
盗链我已经在hotlink里面设置了。

大漠孤狼

原帖由 dudu 于 2007-9-3 12:04 PM 发表

如何禁止soso 搜狐 中搜这几个蜘蛛呢？把他们彻底禁止有办法么？我不要了，有google baidu即可。
你说的这些都如何禁止？
盗链我已经在hotlink里面设置了。 ...

一种方法：禁止他的IP
另外一种 根据agent信息禁止
还有就是robot文件
后面两种对于比较流氓的搜索不行，第一种最彻底

dudu

他IP固定的么？IP是多少呢？

dudu

离线浏览器和采集有没有办法彻底禁止。我论坛是必须登录才可以看帖子内容的，这样是不是也有作用？

大漠孤狼

原帖由 dudu 于 2007-9-3 12:18 PM 发表
离线浏览器和采集有没有办法彻底禁止。我论坛是必须登录才可以看帖子内容的，这样是不是也有作用？

这个比较困难
可以通过agent识别一部分，例如搜索email的，离线浏览器等，但是如果他把自己标记为IE就不好识别了
主要蜘蛛的IP我在站长交流版发过

dudu

看到了。有没有办法一次禁止除了google以外的所有机器人？
另外IP过滤直接在主机控制面板里面的IP过滤可以么？

大漠孤狼

原帖由 dudu 于 2007-9-3 12:39 PM 发表
看到了。有没有办法一次禁止除了google以外的所有机器人？
另外IP过滤直接在主机控制面板里面的IP过滤可以么？

另外IP过滤直接在主机控制面板里面的IP过滤可以么？
可以的

dudu

User-agent: baiduspider
Disallow: /admin/
Disallow: /api/
Disallow: /attachments/
Disallow: /customavatars/
Disallow: /images/
Disallow: /forumdata/
Disallow: /include/
Disallow: /ipdata/
Disallow: /templates/
Disallow: /plugins/
Disallow: /mspace/
Disallow: /wap/
Disallow: /admincp.php
Disallow: /ajax.php
Disallow: /digest.php
Disallow: /logging.php
Disallow: /member.php
Disallow: /memcp.php
Disallow: /misc.php
Disallow: /my.php
Disallow: /pm.php
Disallow: /post.php
Disallow: /register.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /seccode.php
Disallow: /topicadmin.php
Disallow: /space.php

User-agent: Googlebot
Disallow: /admin/
Disallow: /api/
Disallow: /attachments/
Disallow: /customavatars/
Disallow: /images/
Disallow: /forumdata/
Disallow: /include/
Disallow: /ipdata/
Disallow: /templates/
Disallow: /plugins/
Disallow: /mspace/
Disallow: /wap/
Disallow: /admincp.php
Disallow: /ajax.php
Disallow: /digest.php
Disallow: /logging.php
Disallow: /member.php
Disallow: /memcp.php
Disallow: /misc.php
Disallow: /my.php
Disallow: /pm.php
Disallow: /post.php
Disallow: /register.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /seccode.php
Disallow: /topicadmin.php
Disallow: /space.php

User-agent: *
Disallow: /

搞定了，这样应该禁止了google baidu以外所有机器人吧……

大漠孤狼

原帖由 dudu 于 2007-9-3 01:02 PM 发表
User-agent: baiduspider
Disallow: /admin/
Disallow: /api/
Disallow: /attachments/
Disallow: /customavatars/
Disallow: /images/
Disallow: /forumdata/
Disallow: /include/
Disallow: /ipdata/
Disallow: /t ...

有些蜘蛛不遵守robot协议

dudu

那应该是比较冷门的吧......我把大多数禁止掉就行了。