搜索蜘蛛机器人问题

来源：百度知道 编辑：UC知道 时间：2024/06/07 19:38:56
在搜索系统中，如果多个机器人同时爬找一个网站会使得该站点瘫痪，而且效率也不高，怎样处理URL，使得对同一站点同一时间的爬行的机器人数控制在一定范围，

您好
这类似典型的广度优先搜索，
在遍历的过程中用set、map或者自定义容器对访问的节点进行标记，
当要访问此站点之前先判断是否符合限制条件，
如果不符合就不去爬找

如果符合就访问节点，并且改变容器中的标记

共同努力