：crawler
爬行器是一种程序,访问网站和读取他们的页面和其他信息来为搜索引擎索引创建条目。主要的搜索引擎在网络上都有这样一个计划,也被称为/蜘蛛/或机器人。/ Crawle are to访问网站,typically programmed办学有其提交的新王牌owne或最新。整个网站的具体pages或可以在selectively访问和indexed。Crawle显然获得了名字,因为他们爬一次通过一个网站一个页面,链接到其他页面后,在网站上,直到所有页面已经读.
AltaVista的爬虫搜索引擎和网站叫做踏板车。摩托车坚持礼貌的规则中指定的Web crawle机器人排除标准(行为)。它要求每个服务器的文件应该被排除在被索引。它没有(或不能)经过防火墙。和它使用一个特殊算法连续之间的等待服务器请求,并“t影响其他使用respoe时间。
最近更新时间：2017-12-08 EN
相关推荐
-
10个最常见的云漏洞
如果企业认为云计算将自动保护其工作负载和数据免受攻击、盗窃和其他威胁行为，那他们就大错特错了。即使在云端，漏洞 […]
-
缓解多云治理挑战的5个最佳做法
部署多云模型会给云团队带来更多的复杂性和管理挑战。这些挑战影响着企业环境的方方面面，包括设计、部署、配置、运营 […]
-
云团队需要的6个IT软技能
软技能对云团队来说至关重要，但很难学习。一个糟糕的团队成员可以打倒整个团队和项目。此外，缺乏软技能可能会导致错 […]
-
AI和云存储如何协同工作
人工智能是一种变革性技术，可帮助企业节省时间、降低成本并提高运营效率。首席信息官和其他技术领导者可能会想知道， […]