世界上第一个用于监测互联网发展规模的机器人程序是Matthew Gray开发的world wide web Wanderer,刚开始它只用来统计互联网上的服务器数量,后来则发展为能够检索网站域名。
与Wanderer对应,Martin Koster于1993年10月创建了ALIWEB,它是Archie的HTTP版本。ALIWEB不使用机器人程序,而是靠网站主动提交信息来建立自己的链接索引,类似于现在我们熟知的Yahoo!。
随着互联网的迅速发展,使得检索所有新出现的网页变得越来越困难,因此,在Matthew Gray的Wanderer的基础上,一些编程者将传统的蜘蛛程序工作原理做了一些改进,其设想是,既然所有网页都可能有连向其他网站的链接,那么从跟踪一个网站的链接开始,就有可能检索整个互联网。到1993年年底,一些基于此原理的搜索引擎纷纷涌现,其中以Jump Station、The world Wide web Worm(Goto的前身,也就是今天的Overture)和Repository. Based Software Engineering(RBSE)spider最负盛名。
展开