作者 | 慕课网精英讲师 梁睿坤
大家好，我是梁睿坤，是一家智能科技公司的联结创始人，从明天开始咱们就将一起开始探讨“网络爬虫”这个话题了。
随着时代的倒退，互联网成为了大量信息的载体，如何无效的获取这些信息成为了开发人员一个微小的挑战。因为有了这样的需要所以网络爬虫就应运而生了：网络爬虫（又被称为网页蜘蛛，网络机器人，也被称为网页追赶者），是一种依照肯定的规定，主动地抓取互联网信息的程序或者脚本。另外一些不常应用的名字还有蚂蚁、主动索引、模拟程序或者蠕虫。
简略来讲，爬虫就是一个探测机器，它的基本操作就是模仿人的行为去各个网站溜达，点点按钮，查查数据，把看到的信息给你捕捉回来。就像一只虫子在一幢楼（爬取的网站）里不知疲倦地爬来爬去。能够说，有了爬虫，你就有了“分身术”。每一个爬虫都是你的分身，帮你在互联网上获取你所须要的数据。
咱们日常生活中离不开的搜索引擎其实就是一个微小的爬虫，当咱们在百度的输入框中输出你想搜寻的问题，并点击“百度一下”的时候，百度这个微小的爬虫就会启动，并且会主动在互联网上依据你输出的关键词进行匹配，如果有匹配到的后果，爬虫就会把后果出现在你的背后。
咱们来举个例子：你是 A 公司的员工，B 公司是你们的竞争对手。你的 Leader 让你获取竞争对手网站上商品的价格、简介还有购买人数等等信息来做竞品剖析。这个时候你怎么办呢？手动去 Ctrl+ C 和 Ctrl+V？的确能够，但这是最笨的办法。数据量小的时候咱们能够这样做，然而数据成千上万的时候你还要这样做吗？
你说能够找他人帮忙，然而你就不想本人入手写一个爬虫程序，在极短的工夫内把你想要的数据抓取下来并且整顿成数据表格，而后在你的 Leader 须要的时候甩到他的脸上吗？
当然了爬虫能做的不仅仅只有这些，它的实力很弱小。
在学习爬虫之前你须要把握以下的一些基础知识：
网络爬虫中罕用的 Python 基础知识
HTTP 协定通信原理（咱们在浏览网页的时候是怎么的一个过程，他是如何形成的？）
HTML、CSS、JS 入门根底（把握网页构造以及从网页中定位具体的元素）
具备了这些根底，你就能够开始欢快的学习爬虫了。不过很多敌人依然有纳闷：学完爬虫之后有什么用呢？
在最新的编程语言排行榜上，Pyhton 超过 Java，成为了榜一，越来越多的程序员抉择 Python，甚至有人说，应用 Python 是“面向未来编程”。对于 Python 与“爬虫”的关系，我想不必多说你也能看进去爬虫的炽热水平。
其次，把握爬虫技术后，你会看到很多不同风光，在你应用爬虫爬取数据的过程中，你会感到十分好玩儿，置信我，这种趣味性和好奇心，会让你对 Python 有一种天生的青睐感，为让你有深刻学习 Python 的能源。
另外，在这个数据为王的时代，互联网上充斥着大量不拘一格繁冗的数据，咱们要从这个宏大的互联网上来获取到咱们所须要的数据，爬虫是不二之选。无论是过来的搜索引擎，还是时下火爆的数据分析，都离不开爬虫，除了好玩之外，爬虫是实实在在有十分多的用武之地的，事实上，很多公司在招聘时，对爬虫也是有要求的。
咱们应用 Python 开发爬虫，Python 最弱小的中央不在于语言自身而是其宏大而沉闷的开发者社区和上亿量级的第三方工具包。通过这些工具包咱们能够疾速的实现一个又一个的性能而不必咱们本人去造轮子，把握的工具包越多，咱们在编写爬虫程序的时候也就越不便。另外，爬虫的工作指标是“互联网”，所以 HTTP 通信和 HTML、CSS、JS 这些技能在编写爬虫程序的时候都会用的到。不过不必放心，即便你对这些技术不太理解，在学习了本专栏之后也可能轻松的将这些常识使用到咱们的爬虫程序中去。
作为开发人员，代码是最好的老师，在实践中学习，间接靠代码谈话，是咱们程序员的学习形式，所以，在设计这个专栏的时候我从泛滥素材中选出了几种具备代表性的课题，咱们一起开发几种不同类型的爬虫，理论生产中，咱们所须要的数据个别也逃不过这样的页面构造：
新闻供稿专用爬虫——爬取 RSS 订阅数据
网易新闻爬虫——泛爬网技术
网易爬虫优化——大规模数据处理技术
豆瓣读书爬虫——测试驱动设计与高级反爬技术实际
蘑菇街采集——解决深度继承 javascript 网站
慢速爬虫的利用举例——知乎爬虫
说到这里，大家还在等什么呢？当初就开始学习爬虫吧，玩爬虫，用爬虫，大家加油啊。