应用网络爬虫做数据采集也应该有所不为。国内外对于网络数据保护的法律法规都在一直的制订与欠缺中，这篇文章次要从道德风险和法律责任两方面来剖析爬虫做数据采集所带来的问题。
道德层面 ：
网络爬虫如果不严格控制网络采集的速度，会对被采集网站服务器造成很重的累赘。歹意耗费他人网站的服务器资源，甚至是拖垮他人网站是一件不道德的事件。
我作为一个站长，也常常受到爬虫的无节制抓取，上面分享我本人的案例：
在 2018 年 11 月 5 日左右，网站受到了大量爬虫疯狂抓取，当天下午，服务器告警频发，首先是 CPU 100%，之后是网络跑满。
之后我对爬虫 IP 退出防火墙才最终将资源利用率降下来，14:50 之后能够看到资源利用率曾经降下来了。
这里 CPU 利用率达到 100%，用户拜访网站的体现就是： 访问速度十分迟缓，常常刷不进去 。
这里是我作为一个站长分享本人被爬虫抓取的经验，心愿爬虫开发者多站在他人的角度思考问题。
下面说完了道德方面的问题，上面咱们再来看看法律方面的责任。
法律层面 ：
- 涉嫌不正当竞争：
咪咕音乐公司以阿里音乐公司利用互联网爬虫技术施行“盗链”等不正当竞争形式侵害其合法权益为由提起诉讼
https://wenshu.court.gov.cn/w…
- 著述版权问题：
未经版权方确认，利用爬虫抓取版权方作品
https://wenshu.court.gov.cn/w…
- 非法收集公民个人信息：
非法获取公民个人信息
https://wenshu.court.gov.cn/w…
- 非法获取计算机信息零碎数据：
侵入计算机信息零碎，获取计算机系统内存储的大量数据
https://wenshu.court.gov.cn/w…
- 毁坏计算机系统：
利用爬虫毁坏计算机系统
https://wenshu.court.gov.cn/w…
以上整顿了利用爬虫所触犯的法律法规，具体案例就不开展了，能够点击链接理解具体案情。
以上整顿了爬虫可能触犯的法律，上面看看 robots.txt 协定对爬虫的束缚：
从法理上来说，网站的服务协定和 robots.txt 是很乏味的。如果一个网站容许公众拜访接入，那么网站管理员对软件能够接入什么和不能够接入什么的限度是不合理的。如果网站管理员对“你用浏览器拜访没有问题，然而你用本人写的程序拜访它就不行”，这就不太靠谱了。
如果你理解搜索引擎优化（SEO）或搜索引擎技术，那么你可能据说过 robots.txt 文件。如果你想在任何大型网站上找到 robots.txt 文件，能够在网站根目录 https://www.pdflibr.com/robot… 找到。
robots.txt 文件是在 1994 年呈现的，那时搜索引擎技术刚刚衰亡。从整个互联网寻找资源的搜索引擎，像 Alta Vista 和 DogPile，开始和那些把网站依照主题进行分类的门户网站公司竞争强烈，比方像 Yahoo! 这样的门户网站。互联网搜寻规模的增长不仅阐明网络爬虫数量的增长，而且也体现了网络爬虫收集信息的能力在一直变动。
尽管咱们明天认为这种能力是非常平时的，然而当本人网站文件机构深处暗藏的信息变成搜寻引引擎首页上能够检索的内容时，有些管理员还是十分震惊。于是，robots.txt 文件，也被称为机器人排除规范（Robots Exclusion Standard）, 应运而生。
- robots.txt 的语法没有规范格局。他是一种业内习用的做法，然而没有人能够阻止他人创立本人版本的 robots.txt 文件（并不是说如果它不合乎支流规范，机器人就能够不恪守）。它是一种被企业宽泛认可的习惯，次要是这么做很间接，而且企业也没有能源去倒退本人的版本，或者去尝试去改良它。
- robots.txt 文件并不是一个强制性束缚。他只是说“请不要抓取网站这些内容”。有很多网络爬虫库都反对 robots.txt 文件（尽管这些默认设置很容易批改）。另外，依照 robots.txt 文件采集信息比间接采集信息麻烦得多（毕竟，你须要采集、剖析，并在代码逻辑中解决页面内容）。
机器人排除规范得语法很间接。和 Python 语言一样，正文都是用 # 号，用换行结尾，能够用在文件的任意地位。
文件第一行非正文内容是 User-agent:，注明具体那些机器人须要遵守规则。前面是一组 Allow: 或 Disallow:，决定是否容许机器人拜访网站该局部内容。星号（*）是通配符，能够用于 User-agent:，也能够用于 URL 链接中。
如果一条规定前面跟着一个与之矛盾的规定，则依照后一条规定执行。例如：
# Welcome to me robots.txt file!
User-agent: *
Disallow: *
User-Agent: Googlebot
Allow: *
Disallow: /private在这个例子中，所有机器人都被禁止拜访任何内容，除了 Google 的网络机器人，他被容许拜访网站上除了 /private 地位的所有内容。
是否依照 robots.txt 文件的要求写网络爬虫是由你本人决定的，当爬虫毫无节制地采集网站的时候，强烈建议你恪守。