请教一个robots.txt的问题

发表于 2011-7-13 14:53:56

GD的无限主机，建多个站，robots.txt是每个站的目录里面分别放呢，还是汇总成一个文件放在根目录里？
大侠们请说说啊，谢谢了！

lwbo1987 · 发表于 2011-7-13 15:15:38

都可以的，可以每个网站目录写一个

lpj · 发表于 2011-7-13 15:22:42

robots.txt 必须放置在一个站点的根目录下，而且文件名必须全部小写。举例来说，当
spider 访问一个网站（比如htt p : // ww w.abc.com时，首先会检查该网站中是否存在
ht tp : // ww w.abc.com/robots.txt 这个文件，如果Spider 找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
最好每个网站目录都写一个。

天毅 · 发表于 2011-7-13 19:42:54

放在网站的根目录下

比如 www.idcspy.com/robots.txt
每个域名对应一个

显示全部楼层 · 发表于 2011-7-14 11:34:47

好的，谢谢各位

[提问] 请教一个robots.txt的问题

回复 1# 的帖子

GoDaddy讨论