如果抓取指定的网站的整站内容

来源:百度知道 编辑:UC知道 时间:2024/06/24 14:46:00
我输入一个域名,然后搜索这个域名下的所有网站,并将他分为标题,内容,网址保存在数据库中,大家有没有这样的代码,asp的或者其它的,有相关软件能实现也行,重谢!

用IP地址搜索。
例如域名123.456.
依次搜索 j=1 to 999, i=1 to 999
http://123.456.j.i

(如果考虑通讯口号,默认80,其它有8080等)

抓取 <title> ...</title>
<META ....>
分析,分类保存。

teleport