关于爬虫:你需要知道的-10-大互联网爬虫

机器人和僵尸网络通常与网络犯罪分子窃取数据、身份、信用卡号码和更蹩脚的状况无关。然而，机器人也能够有好的目标。将好的机器人与坏的机器人辨别开来，也能够在爱护你公司的网站和确保你的网站取得应有的互联网流量方面施展很大作用。

大多数好的机器人基本上都是世界上最大的网站派出的爬虫，为其搜索引擎和社交媒体平台索引内容。你想让这些机器人拜访你。它们会给你带来更多的访问量！如果咱们阻止这些好的爬虫抓取咱们的网站，将会给我带来损失。

这里，依照爬虫拜访任何网站的可能性的倒序排列，是你当初应该晓得的 10 个最重要的好机器人。请确保你的安全策略欢送这些机器人（或至多晓得你为什么抉择阻止它们）!

理解更多对于十大善意机器人的信息

1. Googlebot – Googlebot 是谷歌的网络抓取机器人（有时也称为 “ 蜘蛛 ”）。Googlebot 应用一种算法过程：计算机程序决定要抓取哪些网站，多长时间抓取一次，以及从每个网站抓取多少页。Googlebot 的抓取过程从一个网页 URL 列表开始，该列表由以前的抓取过程产生，并由网站管理员提供的网站地图数据加以补充。当 Googlebot 拜访这些网站中的每一个页面的时侯，它会检测每个页面上的链接（src 和 herf），并将它们增加到其要抓取的页面列表中。新网站、现有网站的变动和死链接都会被留神到，并用于更新谷歌索引。
2. Baiduspider – Baiduspider 是百度中文搜索引擎的一个机器人。百度（中文：百度；拼音：Bǎidù）是中国当先的网站、音频文件和图像搜索引擎，Baiduspider 是百度搜索引擎的一个主动程序，它的作用是拜访互联网上的网页，建设索引数据库，使用户能在百度搜索引擎中搜寻到您网站上的网页。
3. MSN Bot/Bingbot – 2010 年 10 月服役，重新命名为 Bingbot，这是一个网络抓取机器人（互联网机器人的类型），由微软部署，为 Bing（搜索引擎）提供服务。它从网络上收集文件，为 Bing（搜索引擎）建设一个可供搜寻的索引。
4. Yandex Bot – Yandex bot 是 Yandex 的搜索引擎的匍匐器。Yandex 是一家俄罗斯互联网公司，在俄罗斯经营最大的搜索引擎，在该国领有约 60% 的市场份额。截至 2012 年 4 月，Yandex 排名寰球第五大搜索引擎，每天的搜寻量超过 1.5 亿次，访问者超过 2550 万。
5. Soso Spider – Soso.com 是腾讯控股有限公司领有的一个中文搜索引擎，腾讯控股因其另一个发明 QQ 而闻名。依据 Alexa Internet 的数据，截至 2022 年 4 月 24 日，Soso.com 被列为世界上访问量最大的网站第 86 位，在中国访问量最大的网站第 13 位。均匀而言，Soso.com 每天有 21,064,490 的页面浏览量，2013 年 9 月 16 日，搜搜搜寻与搜狗搜寻合并，拜访 soso.com 搜寻进去的后果却是搜狗提供，同时 Soso Spider 蜘蛛也是用的是 sogou spider。
6. Exabot – Exabot 是来自法国的 ExaLead 的爬虫。ExaLead 由搜索引擎先驱达索零碎公司于 2000 年创建，提供搜寻和对立的信息拜访软件。
7. Sogou Spider – Sogou.com 是一个中文搜索引擎。它于 2004 年 8 月 4 日推出。截至 2010 年 4 月，它在 Alexa 的互联网排名中的排名为 121。搜狗提供了一个多达 100 亿个网页的索引，搜狗收索引擎的爬虫是 sogou spider。
8. Google Plus 分享 – Google Plus 让你与敌人、联系人和网络的其余局部分享倡议 – 在 Google 搜寻上。+1 按钮有助于初始化谷歌的即时分享性能，它还提供了一种给某一事物盖上你的公共印章的形式。
9. 脸书内部点击 – 脸书容许其用户向其余脸书用户发送乏味的网络内容的链接。这在 Facebook 零碎上的局部工作波及长期显示某些图像或与网络内容无关的细节，如网页的题目或视频的嵌入标签。只有在用户提供链接后，Facebook 零碎才会检索到这些信息。
10. 谷歌 Feedfetcher – 当用户抉择将 RSS 或 Atom feeds 增加到他们的谷歌主页或谷歌阅读器时，谷歌用于抓取这些信息。Feedfetcher 收集并定期刷新这些由用户发动的 Feeds，但不会在博客搜寻或谷歌的其余搜寻服务中索引它们（Feeds 只有在被谷歌机器人抓取后才会呈现在搜寻后果中）。