raksmart活动促销

分享

写回答

发帖

关于robots.txt的一个问题的探讨

互联网出海创业 互联网出海创业 5515 人阅读 | 10 人回复

发表于 2011-1-6 10:39:39 | 显示全部楼层 |阅读模式

关于robots.txt的一个问题的探讨
我一个网站例如: 111.cn
下面的robots 这样写:

User-agent:*
Disallow:/
Allow: /index.asp
Allow: /ShowPost.asp?ThreadID=
Allow: /ShowForum.asp?ForumID=

我只让抓取三个页面,其他的全部禁止,
但是我同时在该主机有一个子站bbs.111.cn
请问大家,如果按照上面的robots的设置会不会影响对bbs.111.cn下面页面的收录(当然该目录下面也可以设置robots文件)。
我是想让也收录bbs.111.cn下面的网页。

再具体点,站内的文件目录是这样的。
wwwroot目录下:
/index.asp
/showforum.asp
/showpost.asp
/robots.txt
/bbs.111.cn (由于用的是godaddy空间,这是一个独立的站,只是和111.cn在同一个共享IP主机里面)
/其他文件或站点

请问大家,如果按照上面robots.txt写法,bbs站会不会被搜索引擎屏蔽。

说明一下:不需要关心 www.111.cn/bbs.111.cn/这样的访问方式是否可以通,被搜索引擎屏蔽也没有关系。

回答|共 10 个

ffnn

发表于 2011-1-6 11:54:11 | 显示全部楼层

全部禁止,再允许四个。一个111.cn/bbs,三个页面。

你还可以在谷歌管理工具里测试。

digital2005

发表于 2011-1-6 13:19:42 | 显示全部楼层

楼上的好,bbs.111.cn 是一个独立的站,我不是想google抓取到www.111.cn/bbs这个目录
但通过bbs.111.cn这样的方式又可以正常收录。
换个说法。如果是另外的一个站www.222.cn 在godaddy的目录下面。我肯定不想让
222里面的文章以www.111.cn/www.222.cn/dd.htm方式被收录。虽然这样可以访问。
所以根目录下的robots.txt不知道如何设置。

[ 本帖最后由 digital2005 于 2011-1-6 01:22 PM 编辑 ]

ffnn

发表于 2011-1-6 13:40:18 | 显示全部楼层

那个不是robots的事。
那个是301的事。

ffnn

发表于 2011-1-6 13:42:26 | 显示全部楼层

你的那个到底是二级域名?还是附加域名?二者有区别的。
你第一帖说成二级域名,第三贴又说成附加域名。

ffnn

发表于 2011-1-6 14:13:26 | 显示全部楼层

如果是附加域名。
那就要在根目录下的robots禁止该目录。

如果是二级域名。
不用禁止,做个301重定向就行。

ffnn

发表于 2011-1-6 14:15:21 | 显示全部楼层

2种情况也都可以直接禁止 domain/bbs目录
搜索引擎一样能抓取,然后该按照二级域名收录就二级域名收录,该独立域名收录就独立域名收录。

这个简单些

ffnn

发表于 2011-1-6 14:16:08 | 显示全部楼层

还省了资源

kingto

发表于 2011-1-6 18:34:57 | 显示全部楼层

咋一下回这么多帖子

cqboy2003

发表于 2011-1-6 22:18:01 | 显示全部楼层

你这个太复杂了,
您需要登录后才可以回帖 登录 | 注册

本版积分规则