分享

写回答

发帖

[提问] 请教一个robots.txt的问题

GoDaddy GoDaddy 907 人阅读 | 3 人回复

发表于 2011-7-13 14:53:56 | 显示全部楼层 |阅读模式

GD的无限主机,建多个站,robots.txt是每个站的目录里面分别放呢,还是汇总成一个文件放在根目录里?
大侠们请说说啊,谢谢了!

回答|共 3 个

lwbo1987

发表于 2011-7-13 15:15:38 | 显示全部楼层

回复 1# 的帖子

都可以的,可以每个网站目录写一个
回复 支持 反对

使用道具 举报

lpj

发表于 2011-7-13 15:22:42 | 显示全部楼层

robots.txt 必须放置在一个站点的根目录下,而且文件名必须全部小写。举例来说,当
spider 访问一个网站(比如htt p : // ww w.abc.com时,首先会检查该网站中是否存在
ht tp : // ww w.abc.com/robots.txt 这个文件,如果Spider 找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
最好每个网站目录都写一个。
回复 支持 反对

使用道具 举报

天毅

发表于 2011-7-13 19:42:54 | 显示全部楼层

放在网站的根目录下

比如 www.idcspy.com/robots.txt
每个域名对应一个
回复 支持 反对

使用道具 举报

kklaw 该用户已被删除

发表于 2011-7-14 11:34:47 | 显示全部楼层

好的,谢谢各位
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则