robots文件如何写?

lsok · 发表于 2010-7-14 17:52:42

大家好:

使用150G空间建了多个站,那主域名的站如何写robots.txt？

因为前几天在百度搜索时，搜索一个子目录下的站，竟然出现了一个链接，链接的前面是主域名，也就是显示了这种子目录和根目录的关系。（该子目录下的站的域名过期未续费）

想过要将所有子目录下的文件拒绝索引,但是不行呵,那子目录下的站岂不是不能被搜索引擎索引了? 大家是怎么处理的?

add.c · 发表于 2010-7-14 18:00:05

参考http://www.google.com/robots.txt

kingto · 发表于 2010-7-14 18:09:01

楼上正解。

add.c · 发表于 2010-7-15 10:34:34

那个只是Google的文件, 详细使用方法参考http://www.baidu.com/search/robots.html

[提问] robots文件如何写?

回复 3# 的帖子

GoDaddy讨论