关于搜索引擎蜘蛛抓取网站的问题!
来源:百度知道 编辑:UC知道 时间:2024/05/16 00:26:38
网站根目录下有个放网站备案信息的文件夹cert 请问搜索引擎会不会抓取这个文件夹啊??
如果你没设置过robots.txt文件,那么默认的情况下,你网站上所有的文件都会被抓取的,包括你的这个cert文件
不会抓取。cert是孤立的,对蜘蛛来讲也没有任何意义。
不会的
UC知道是一部内容开放、自由的互动网络百科全书
客观、专业、权威的知识性百科全书
来源:百度知道 编辑:UC知道 时间:2024/05/16 00:26:38
如果你没设置过robots.txt文件,那么默认的情况下,你网站上所有的文件都会被抓取的,包括你的这个cert文件
不会抓取。cert是孤立的,对蜘蛛来讲也没有任何意义。
不会的