网页抓取工具

促进谷歌收录的两种方法是: 1, 提交sitemap，使一个XML文件；2，提交你的网站的RSS feeds。

我有个网站的内容增加很快，就是提交RSS feed，每天增加的网页太多，用sitemap好像不太合适。

如果想抓取网页，可以用GooSeeker公司发布的MetaSeeker软件工具包，功能很强大，免费使用，到gooseeker网站上下载即可，抓取的结果存成XML文件，但是不是sitemap，结果文件主要用来做垂直搜索、商品比价、商业情报采集等

嗯？我怎么感觉Google只需要你提供你站点的顶层首页就可以了吧，Google自己会去爬从你顶层首页链接（直接和间接）出去的所有网页。

只有当你需要Google收录的网页无法从你的顶层首页链接（直接或间接）出去时才需要提供这个静态页面。

如果是这样的话，建议可以参考一下Google关于创建站点地图（Sitemap）的帮助文档：http://www.google.com/support/webmasters/bin/answer.py?hlrm=en&answer=156184。里面提到了一些可以帮助你创建站点地图的工具。