关于搜索引擎蜘蛛抓取网站的问题!

来源:百度知道 编辑:UC知道 时间:2024/05/16 00:26:38
网站根目录下有个放网站备案信息的文件夹cert 请问搜索引擎会不会抓取这个文件夹啊??

如果你没设置过robots.txt文件,那么默认的情况下,你网站上所有的文件都会被抓取的,包括你的这个cert文件

不会抓取。cert是孤立的,对蜘蛛来讲也没有任何意义。

不会的