2 goimt goimt 于 2015.07.19 10:07 提问

robots.txt 写法 robots.txt 写法

User-agent: *
Allow:/html/
allow:/index.php$
allow:/index.html$
Disallow:/

以上只收录html和首页,这样写对吗

3个回答

CSDNXIAON
CSDNXIAON   2015.07.19 10:09

SEO 必备--robots.txt写法
robots.txt的详细写法
实例分析Robots.txt写法
----------------------同志你好,我是CSDN问答机器人小N,奉组织之命为你提供参考答案,编程尚未成功,同志仍需努力!

oSanYeCao1234567
oSanYeCao1234567   Ds   Rxr 2015.07.19 10:07

嗯,应该是对的,具体的写法可以去参考百度开发者网站上的,里面有各种详细的配置

caozhy
caozhy   Ds   Rxr 2015.07.19 14:10

$表示匹配后面任意字符。
http://jingyan.baidu.com/article/eb9f7b6dab75ca869364e8d2.html

你这么写问题不大,问题是某些国内低端流氓搜索引擎,并不完全按照robots来采集,它们甚至会伪造user agent。

Csdn user default icon
上传中...
上传图片
插入图片