UC知道为什么Google蜘蛛爬不到网站新加的页面？
来源：百度知道 编辑：UC知道 时间：2024/05/16 18:27:57
我们发布了一个新产品。和往常一样，我们为这款新产品制作了一个网页（整站是纯静态），同时在首页放了链接。
一般情况下GOOGLE 会在12小时内会抓取了新网页。但不幸的是到目前为止在GOOGLE 和BING等所有搜索引擎的数据库中都没有那个新网页，以前是不会有这种问题存在，每次发布一个新产品的页面不用多久就能被收录了，
我们在查看GOOGLE 站长工具的时候发现GOOGLE 机器人已经试着爬新网站36次，其中包括从站内的其它页面和外部其它推广站点的URL往这个新页面爬的每次都是失败，而GOOGLE 的结论是404，即找不到相关文件。但是我点那些URL的时候一切正常，没有找不到页面的情况发生，也重新上传了一次，问题还是存在。
同时也查了ROBOT.TXT文件没有问题。这个新页面robots Meta中也没有nofollow 或noindex的。
这个是新加的页面：http://www.sharepointboost.com/site-user-directory.html
哪位大侠帮帮忙。谢谢！
一般情况下GOOGLE 会在12小时内会抓取了新网页。但不幸的是到目前为止在GOOGLE 和BING等所有搜索引擎的数据库中都没有那个新网页，以前是不会有这种问题存在，每次发布一个新产品的页面不用多久就能被收录了，
我们在查看GOOGLE 站长工具的时候发现GOOGLE 机器人已经试着爬新网站36次，其中包括从站内的其它页面和外部其它推广站点的URL往这个新页面爬的每次都是失败，而GOOGLE 的结论是404，即找不到相关文件。但是我点那些URL的时候一切正常，没有找不到页面的情况发生，也重新上传了一次，问题还是存在。
同时也查了ROBOT.TXT文件没有问题。这个新页面robots Meta中也没有nofollow 或noindex的。
这个是新加的页面：http://www.sharepointboost.com/site-user-directory.html
哪位大侠帮帮忙。谢谢！
情况很诡异，404错误是说找不到页面。
你看看是不是权限问题？还是说页面或web server对google的spider产生的User-Agent排斥？
另外就是再核实一下robots.txt里面disallow是不是包含了那个目录或页面。
最后，访问你的网站后我发现js脚本中有个错误：
这个也很有可能造成了无法访问，请尽快修改过来~
==================================================
--------------------------------------------------
除了以上几个方面，我觉得你应该把所有指向这个链接的URL检查一下，是不是有不正常的地方。比如把文件当作一个目录了，也就是：类似"http://www.sharepointboost.com/site-user-directory.html/"这样，也就是后面多了个/，或者用了相对地址引用，造成google爬到别的地方去了。