网站屏蔽百度 不屏蔽GOOGLE robots要怎么写

来源:百度知道 编辑:UC知道 时间:2024/05/18 20:22:34
网站屏蔽百度 不屏蔽GOOGLE robots要怎么写

User-agent: *
Allow: /

User-agent: Googlebot
Allow: /

User-agent: baiduspider
Disallow: /

前面2行指接受所有蜘蛛抓取,中间两行指接受google抓取,最后两行指拒绝百度抓取。User-agent: 指漫游器的名称。Allow指允许 ,Disallow指拒绝,/指根目录

但不一定有用!现在搜索引擎根据就不遵循robots协议,就算是写了robots阻止抓取,搜索引擎还是会来的!

去问李开复

他正好休假