帮我看看我的robots.txt有没有错误

来源:百度知道 编辑:UC知道 时间:2024/05/05 12:12:16
robots.txt下面的内容是:

User-agent: *
Sitemap:http://www.tiwill.com/sitemap.xml
Disallow: /cn/date520/
Disallow: /cn/gl/
Disallow: /cn/Scripts/
Disallow: /cn/HtmlEditor/
Disallow: /cn/images/
Disallow: /cn/upload/
Disallow: /cn/conn5.asp
Disallow: /cn/cpsc.asp
Disallow: /cn/fw.asp
Disallow: /cn/fw_fjsc.asp
Disallow: /cn/fw_fjsc2.asp
Disallow: /cn/fw_tj.asp
Disallow: /cn/fw_tj2.asp
Disallow: /cn/fw_xg.asp
Disallow: /cn/fw_xg2.asp
Disallow: /cn/gl.htm
Disallow: /cn/gl2.asp
Disallow: /cn/js_xg.asp
Disallow: /cn/js_xg2.asp
Disallow: /cn/l.asp
Disallow: /cn/lbxg.asp
Disallow: /cn/lbxg2j.asp
Disallow: /cn/ly2.asp
Disallow: /cn/ly3.asp
Disallow: /cn/lyb_gl.asp
Disallow: /cn/lyb_gl2.asp
Disallow: /cn/lybsc.asp
Disallow: /cn/lysc.asp
Disallow: /cn/main.asp

Sitemap:http://www.0jjj.com/sitemap.xml
放最下面吧

理论上是没有错误的
但你的写法太长了吧
可以用通配符
Disallow: /cn/*.asp
Disallow: /en/*.asp

或者如果 根本就不让看目录里的任何页百可以只来个
Disallow: /cn/
Disallow: /en/