网站屏蔽百度 不屏蔽GOOGLE robots要怎么写
来源:百度知道 编辑:UC知道 时间:2024/05/18 20:22:34
网站屏蔽百度 不屏蔽GOOGLE robots要怎么写
User-agent: *
Allow: /
User-agent: Googlebot
Allow: /
User-agent: baiduspider
Disallow: /
前面2行指接受所有蜘蛛抓取,中间两行指接受google抓取,最后两行指拒绝百度抓取。User-agent: 指漫游器的名称。Allow指允许 ,Disallow指拒绝,/指根目录
但不一定有用!现在搜索引擎根据就不遵循robots协议,就算是写了robots阻止抓取,搜索引擎还是会来的!
去问李开复
他正好休假