TechTarget云计算 > 百科词汇

：crawler

爬行器是一种程序,访问网站和读取他们的页面和其他信息来为搜索引擎索引创建条目。主要的搜索引擎在网络上都有这样一个计划,也被称为/蜘蛛/或机器人。/ Crawle are to访问网站,typically programmed办学有其提交的新王牌owne或最新。整个网站的具体pages或可以在selectively访问和indexed。Crawle显然获得了名字,因为他们爬一次通过一个网站一个页面,链接到其他页面后,在网站上,直到所有页面已经读.
AltaVista的爬虫搜索引擎和网站叫做踏板车。摩托车坚持礼貌的规则中指定的Web crawle机器人排除标准(行为)。它要求每个服务器的文件应该被排除在被索引。它没有(或不能)经过防火墙。和它使用一个特殊算法连续之间的等待服务器请求,并“t影响其他使用respoe时间。

最近更新时间：2017-12-08 EN

相关推荐