关于robots.txt的一个问题的探讨

digital2005

关于robots.txt的一个问题的探讨
我一个网站例如： 111.cn
下面的robots 这样写：

User-agent:*
Disallow:/
Allow: /index.asp
Allow: /ShowPost.asp?ThreadID=
Allow: /ShowForum.asp?ForumID=

我只让抓取三个页面，其他的全部禁止，
但是我同时在该主机有一个子站bbs.111.cn
请问大家，如果按照上面的robots的设置会不会影响对bbs.111.cn下面页面的收录（当然该目录下面也可以设置robots文件）。
我是想让也收录bbs.111.cn下面的网页。

再具体点，站内的文件目录是这样的。
wwwroot目录下：
/index.asp
/showforum.asp
/showpost.asp
/robots.txt
/bbs.111.cn (由于用的是godaddy空间，这是一个独立的站，只是和111.cn在同一个共享IP主机里面)
/其他文件或站点

请问大家，如果按照上面robots.txt写法，bbs站会不会被搜索引擎屏蔽。

说明一下：不需要关心 www.111.cn/bbs.111.cn/这样的访问方式是否可以通，被搜索引擎屏蔽也没有关系。

ffnn

全部禁止，再允许四个。一个111.cn/bbs，三个页面。

你还可以在谷歌管理工具里测试。

digital2005

楼上的好，bbs.111.cn 是一个独立的站，我不是想google抓取到www.111.cn/bbs这个目录
但通过bbs.111.cn这样的方式又可以正常收录。
换个说法。如果是另外的一个站www.222.cn 在godaddy的目录下面。我肯定不想让
222里面的文章以www.111.cn/www.222.cn/dd.htm方式被收录。虽然这样可以访问。
所以根目录下的robots.txt不知道如何设置。

[ 本帖最后由 digital2005 于 2011-1-6 01:22 PM 编辑 ]

ffnn

那个不是robots的事。
那个是301的事。

ffnn

你的那个到底是二级域名？还是附加域名？二者有区别的。
你第一帖说成二级域名，第三贴又说成附加域名。

ffnn

如果是附加域名。
那就要在根目录下的robots禁止该目录。

如果是二级域名。
不用禁止，做个301重定向就行。

ffnn

2种情况也都可以直接禁止 domain/bbs目录
搜索引擎一样能抓取，然后该按照二级域名收录就二级域名收录，该独立域名收录就独立域名收录。

这个简单些

ffnn

还省了资源

kingto

咋一下回这么多帖子

cqboy2003

你这个太复杂了，