共计 697 个字符，预计需要花费 2 分钟才能阅读完成。
咱们经常说 robots.txt 协定防小人不防君子。robots.txt 协定防什么样的小人，又防不了什么样的君子呢？就听我给你一一道来。
爬虫常说的小人协定是什么
首先咱们须要理解爬虫常说的小人协定是什么，也就是什么是 robots.txt 协定，上面是对于 robots.txt 协定的形容：
robots.txt 文件规定了搜索引擎抓取工具能够拜访您网站上的哪些网址。此文件次要用于防止您的网站收到过多申请； 它并不是一种阻止 Google 抓取某个网页的机制 。
- 并非所有搜索引擎都反对 robots.txt 指令。
robots.txt 文件中的命令并不能强制标准抓取工具对网站采取的行为；是否遵循这些命令由抓取工具自行决定。
下面的定义是来自于 Google 搜寻核心的官网文档。
通过下面的定义能够看进去 robots.txt 只是定义了爬虫能够抓取那些页面，不能够抓取那些页面，这个协定大部分正规的搜索引擎都会恪守。
例如：在 rogerbot 爬虫介绍这篇文章中，有一个 robots.txt 这样写的：
User-agent: rogerbot
Disallow: /
这里是禁止 rogerbot 抓取这个网站的所有页面，然而如果他不恪守，也依然能够胡作非为的抓取你的网站，你也奈何不了 rogerbot 爬虫。
然而大部分爬虫框架都会恪守 robots.txt 协定，有一些开发者为了抓取内容，可能不会查看 robots.txt 文件，无意之中可能没有恪守 robots.txt 协定。
所以 robots.txt 就是一个小人协定：只束缚小人不束缚君子。
总结
通过下面的剖析，咱们能够答复方才提出的那个问题了：爬虫常说的小人协定是什么，也就是 robots.txt 协定。