heritrix抓取网页总是显示infinite congestion ratio

来源:百度知道 编辑:UC知道 时间:2024/06/14 04:08:15
请问我使用heritrix1.10.0爬取网页时,WebUI上状态区域右侧老是显示infinite congestion ratio,爬取不能正常进行,这是怎么回事呢?

应该是抓取软件不稳定,建议换个软件试试

网络信息采集是信息化进程的重要步骤,所以又很多公司都在宣传拥有**万能采集、**采集器之类的软件,但是这些都是应用层次比较浅的技术,真正要高端技术或者说成熟的产品,必定是那些在采集行业很专业的公司。国内在网络信息采集方面比较专业的是深圳的乐思软件,你可以去他们网站找找看,可能有共享版。