搜索引擎网络机器人的工作方式?

来源:百度知道 编辑:UC知道 时间:2024/06/19 15:34:00
这个自动程序从一个链接到另一个链接是以哪种方式??
是类似人类点击链接然后看到完整的画面的动作,
还是仅仅查看的是这个网络地址下源文件提取出来做拆词分析?
如果是后者,那我用javascript导航的链接都写在js文件中了,而搜索引擎又不会分析我的js文件,这些链接岂不是不会被搜索引擎收录??
鱼刺龙此话怎讲??

我写过搜索引擎程序(当然是很菜很简单的那种,给校园网用的)

一般的方式是将整个页面抓下来,分析html文件里的内容
如:href=******

JavaScript的连接,有的是可以抓取的,
有的生成的挺复杂的(要对url进行拼接的),我就无能为力了
具体的商用的怎么做我不知道,应该有专门的JavaScript解析程序的
不然很多网站根本无法抓全。

但是有的网站整个就是脚本程序,搜索引擎就无能为力了
如: 南大小百合。

还有:尽量将 重要的连接 做成静态的,搜索引擎一般认为这样的静态链接
更找重要,给的rank值也比较高

百度不知道,GOOGLE 一定会收录的。。