授予 AdSense 抓取工具对我的网页的访问权限会对其他搜索引擎收录产生负面影响吗

来源:百度知道 编辑:UC知道 时间:2024/06/15 14:36:13
最近在google adsense看到一条信息说是已经拦截该网页。拦截原因是Robots.txt 文件。还有解决方法如下:
“如何授予 AdSense 抓取工具对我的网页的访问权限?
您完全可以做到既允许我们的抓取工具访问您的网页,同时又不会给任何其他漫游器以许可权。只需向 robots.txt 文件的开头添加以下两行文字即可:

User-agent:Mediapartners-Google*
Disallow:

经过这一改动,我们的抓取工具就能为贵网站的内容创建索引,并提供该内容的最具针对性的 Google 广告。”

我想知道如果这样设置robots.txt 文件的话会不会对其他的搜索引擎收录产生负面影响因为google已经明确说明(您完全可以做到既允许我们的抓取工具访问您的网页,同时又不会给任何其他漫游器以许可权)。
请解释下面这段的含义并说明是否会对其他引擎的网页收录有负面影响,为什么
User-agent:Mediapartners-Google*
Disallow:

Mediapartners-Google*是Gooogle adsence的蜘蛛,

所以这段代码 只对google adsense的蜘蛛有用,是允许他们可以抓取你的网页

放心吧 对别的搜索引擎没有任何影响

这代码意思就是:
把用户的权限加上 Mediapartners-Google
支持GOOGLE
对其他没有影响