搜索抓取问题

来源:百度知道 编辑:UC知道 时间:2024/06/17 09:43:47
当网站空间里放入一个文件,但这个文件和网站无任何链接,蜘蛛能抓取到吗?

一般的搜索引擎不会索引这个文件,但是有些专用爬虫会尝试列出网站上某个目录下的所有文件,假设你的HTTP服务器开放了目录访问权限,这类爬虫就会挨个抓取该目录下的所有文件。

如果这个文件想被baidu, google索引,应该在某个网页上放一个指向这个文件的超链接。