淘宝屏蔽百度是怎么屏蔽的？

来源：百度知道 编辑：UC知道 时间：2024/05/17 04:06:24
我今年9月份吧，在网上好像看到过类似的新闻，说了淘宝在网站上改了一个什么代码，还是去掉了一个代码就把百度屏蔽了，貌似有那个代码百度才能搜索到？

其实就是一个robots.txt文件而已。。。。。
把不想被搜索引擎抓取的页面添加进去就可以了。。。

很简单的东西。。。。

比如：
User-agent: *
Disallow: /cn.php
Disallow: /china.php
Disallow: /apple.php

这就是一个robots.txt文件，可以使搜索引擎不能抓取
cn.php、china.php、apple.php、car.php
这4个文件

明白没

你可以看下这个。这个是淘宝的robots.txt的内容
User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

baiduspider就是百度蜘蛛，用来抓网页的，而淘宝设置了不允许抓取，所以就抓不到了

应该是淘宝屏蔽了百度的内容吧