有啥采集器能伪装成baidu或者google的蜘蛛

来源：百度知道 编辑：UC知道 时间：2024/06/01 15:33:20
有啥办法 既能防止采集又不影响 蜘蛛收录。
我在想从http请求的头里判断。但是我不知道有没有什么采集器会bt的发蜘蛛的http头。

我自己写过采集器。现在现在为止还没碰到过我采集不到的站。

唯一防采而又对蜘蛛无扰的方法就是偷偷的收集蜘蛛的服务器ip。

这才能辩出真假李逵。

有这个必要吗？
你是要采集还是想攻击？
假如是采集的话，就没有必要，用乐思采集系统就可以了，可以用代理来采，就不会封了

用火车采集器,可以自定义userr-agent ,也就是所谓的蜘蛛.

有这么牛B的东西？楼主找到了一定要告诉我、期待