我的网站robots.txt这样写对吗

来源:百度知道 编辑:UC知道 时间:2024/06/19 03:11:52
# Robots.txt file from http://www.bj-zsz.com
# All robots will spider the domain

User-agent: *
Disallow:

User-agent: *
Allow: /

User-agent: Googlebot
Allow: /
Sitemap: http://www.bj-zsz.com/sitemap.xml

全部都对的.....

Google是支持allow语法的...有些搜索引擎不支持的

最后一个好像不对
robots.txt文件用法举例

例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
User-agent: *
Disallow:
例3. 仅禁止Baiduspider访问您的网站 User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站 User-agent: Baiduspider
Disallow:
例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。 User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允许访问特定目录中的部分url
在这个例子中,有三个目录对搜索引擎的访问做了限制,但是这三个目录中又各自有一个目录允许搜索引擎收录。
User-agent: *
Allow: /cgi-bin/see/
Allow: /tmp/hi/
Allow: /~joe/look/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。 User-agent: *
Disallow: /cgi-bin/*.htm

例8. 仅允许访问以".htm"为后缀的URL。 User-agent: *
Allow: .htm$