新云做的下载站，怎么让百度蜘蛛不直接爬到下载地址链接？

来源：百度知道 编辑：UC知道 时间：2024/05/17 01:05:31
新云做的下载站，最近蜘蛛怎么一直爬我的下载地址，然后就跳转到了错误页面，询问别人的站都没出现这种情况，大家有没人碰到这种情况，一起交流交流，苦恼啊，百度快照都不更新了，哎！
robots.txt该怎么写呢？

robots.txt

补充：
见这个:
http://www.baidu.com/search/robots.html

User-agent: *
Disallow: /admin/
Disallow: /asp？

下载地址的前缀是什么全用robots.txt过滤掉

在没提交网站的时候，可以封装在别的包里啊！