开发搜索引擎

呵呵。这个需求的知识面就广了。首先要解决四个问题：
网络蜘蛛；
结果排序；
中文分词；
内容索引。
搜索引擎关键的是算法。有时间多钻研下算法设计是很必要的。
开发搜索引擎可以参考开源项目lucene，这是一个很出名很常用的搜索引擎。不过没有蜘蛛。
如果你想开发蜘蛛，可以去看看bot.jeffheaton.com和他写的关于网络机器人的编程书，有中文版的。