SEO技术问题

来源：百度知道 编辑：UC知道 时间：2024/05/25 01:44:54
有个技术问题，本人有个SNS之类的网站，现在的功能是人工登录进去才可以浏览里面会员的资料和信息，搜索引擎的蜘蛛没有登录也是不能进去浏览。我现在想做到的效果是，人工登录后才能进去浏览里面的信息和资料，而且搜索引擎的蜘蛛，不用登录也可以爬进去把里面的内容抓取出，收录到搜索引擎里面。
用的是asp程序，框架类似SNS之类框架。 不是robots.txt之类的问题,是应该在程序那边加上一些东西,而且进行对蜘蛛的判断, 我觉得是这样.robots.txt这个我清楚,不用和位指导这个robots.txt相关的疑问.

你用什么架的网站？用java的filter吧

一般爬虫都会在数据报文头部标明自己的身份，比如是baidu或者google的爬虫，你可以用asp先截获这些信息，做一下判断

你登录的肯定是在后台,一般为admin目录下,把robots.txt文件里有屏蔽代码，删除掉.但你想推广的页面在根目录生成静态页放在里面.做个蜘蛛引导不是更好吗?

robots.txt文件里有屏蔽代码，将其删除掉就行了

就知道robot.txt可以屏蔽东西，

指引过去不就行么？人的话只是有个判断。？？？