学习目标
理解爬虫，爬虫起源；
爬虫是什么
专业术语：网络爬虫（又被称为网页蜘蛛，网络机器人）
网络爬虫，是一种依照肯定的规定，主动的抓取万维网信息的程序或者脚本。
爬虫起源（产生背景）
随着网络的迅速倒退，万维网成为大量信息的载体，如何无效地提取并利用这些信息成为一个微小的挑战；
搜索引擎有 Yahoo，Google，百度等, 作为一个辅助人们检索信息的工具成为用户拜访万维网的入口和指南
网络爬虫是搜索引擎零碎中非常重要的组成部分，它负责从互联网中收集网页，采集信息
这些网页信息用于建设索引从而为搜寻 引擎提供反对，它决定着整个引擎零碎的内容是否丰盛，信息是否即时，因而其性能的优劣间接影响着搜索引擎的成果。
网络爬虫程序的优劣，很大水平上反映了一个搜索引擎的好差。
不信，你能够轻易拿一个网站去查问一下各家搜寻对它的网页收录状况，爬虫弱小水平跟搜索引擎好坏根本成正比。
搜索引擎工作原理
第一步：抓取网页（爬虫）
搜索引擎是通过一种特定法则的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上匍匐一样，所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的匍匐是被输出了肯定的规定的，它须要听从一些命令或文件的内容。
Robots 协定（也称为爬虫协定、机器人协定等）的全称是“网络爬虫排除规范”（Robots Exclusion Protocol），网站通过 Robots 协定通知搜索引擎哪些页面能够抓取，哪些页面不能抓取
https://www.taobao.com/robots.txt http://www.qq.com/robots.txt https://www.taobao.com/robots.txt第二步：数据存储
搜索引擎是通过蜘蛛跟踪链接匍匐到网页，并将匍匐的数据存入原始页面数据库。其中的页面数据与用户浏览器失去的 HTML 是齐全一样的。搜索引擎蜘蛛在抓取页面时，也做肯定的反复内容检测，一旦遇到权重很低的网站上有大量剽窃、采集或者复制的内容，很可能就不再匍匐。
第三步：预处理
搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。
⒈提取文字⒉中文分词⒊去进行词⒋打消乐音（搜索引擎须要辨认并打消这些噪声，比方版权申明文字、导航条、广告等……）5. 正向索引 6. 倒排索引 7. 链接关系计算 8. 非凡文件解决
除了 HTML 文件外，搜索引擎通常还能抓取和索引以文字为根底的多种文件类型，如 PDF、Word、WPS、XLS、PPT、TXT 文件等。咱们在搜寻后果中也常常会看到这些文件类型。
但搜索引擎还不能解决图片、视频、Flash 这类非文字内容，也不能执行脚本和程序。
第四步：排名，提供检索服务
然而，这些通用性搜索引擎也存在着肯定的局限性，如：
(1)不同畛域、不同背景的用户往往具备不同的检索目标和需要，通用搜索引擎所返回的后果蕴含大量用户不关怀的网页。
(2)通用搜索引擎的指标是尽可能大的网络覆盖率，无限的搜索引擎服务器资源与有限的网络数据资源之间的矛盾将进一步加深。
(3)万维网数据模式的丰盛和网络技术的一直倒退，图片、数据库、音频、视频多媒体等不同数据大量呈现，通用搜索引擎往往对这些信息含量密集且具备肯定构造的数据无能为力，不能很好地发现和获取。
(4)通用搜索引擎大多提供基于关键字的检索，难以反对依据语义信息提出的查问。
为了解决上述问题，定向抓取相干网页资源的聚焦爬虫应运而生。聚焦爬虫是一个主动下载网页的程序，它依据既定的抓取指标，有抉择的拜访万维网上的网页与相干的链接，获取所须要的信息。
与通用爬虫 (general purpose web crawler) 不同，聚焦爬虫并不谋求大的笼罩，而将指标定为抓取与某一特定主题内容相干的网页，为面向主题的用户查问筹备数据资源。
聚焦爬虫工作原理以及关键技术概述
网络爬虫是一个主动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。
传统爬虫从一个或若干初始网页的 URL 开始，取得初始网页上的 URL，在抓取网页的过程中，一直从当前页面上抽取新的 URL 放入队列, 直到满足零碎的肯定进行条件。
聚焦爬虫的工作流程较为简单，须要依据肯定的网页剖析算法过滤与主题无关的链接，保留有用的链接并将其放入期待抓取的 URL 队列。
而后，它将依据肯定的搜寻策略从队列中抉择下一步要抓取的网页 URL，并反复上述过程，直到达到零碎的某一条件时进行。
另外，所有被爬虫抓取的网页将会被零碎存贮，进行肯定的剖析、过滤，并建设索引，以便之后的查问和检索；对于聚焦爬虫来说，这一过程所失去的剖析后果还可能对当前的抓取过程给出反馈和领导。
绝对于通用网络爬虫，聚焦爬虫还须要解决三个次要问题：
(1) 对抓取指标的形容或定义；
(2) 对网页或数据的剖析与过滤；
(3) 对 URL 的搜寻策略。
抓取指标的形容和定义是决定网页剖析算法与 URL 搜寻策略如何制订的根底。而网页剖析算法和候选 URL 排序算法是决定搜索引擎所提供的服务模式和爬虫网页抓取行为的关键所在。这两个局部的算法又是严密相干的。
网络爬虫的发展趋势
随着 AJAX/Web2.0 的风行，如何抓取 AJAX 等动静页面成了搜索引擎急需解决的问题，如果搜索引擎仍旧采纳“爬”的机制，是无奈抓取到 AJAX 页面的无效数据的。对于 AJAX 这样的技术，所须要的爬虫引擎必须是基于驱动的。而如果想要实现事件驱动，首先须要解决以下问题：
第一：JavaScript 的交互剖析和解释；
第二：DOM 事件的解决和解释散发；
第三：动静 DOM 内容语义的抽取。
爬虫倒退的几个阶段（博士论文 copy）
第一个阶段能够说是晚期爬虫，斯坦福的几位同学实现的抓取，过后的互联网根本都是齐全凋谢的，人类流量是支流；
第二个阶段是分布式爬虫，然而爬虫面对新的问题是数据量越来越大，传统爬虫曾经解决不了把数据都抓全的问题，须要更多的爬虫，于是调度问题就呈现了；
第三阶段是暗网爬虫。此时面对新的问题是数据之间的 link 越来越少，比方淘宝，点评这类数据，彼此 link 很少，那么抓全这些数据就很难；还有一些数据是须要提交查问词能力获取，比方机票查问，那么须要寻找一些伎俩“发现”更多，更残缺的不是明面上的数据。
第四阶段智能爬虫，这次要是爬虫又开始面对新的问题：社交网络数据的抓取。
社交网络对爬虫带来的新的挑战包含
有一条账号护城河
咱们通常称 UGC（User Generated Content）指用户原创内容。为 web2.0，即数据从单向传播，到双向互动，人民大众能够与网站产生交互，因而产生了账号，每个人都通过账号来标识身份，提交数据，这样一来社交网络就能够通过封账号来进步数据抓取的难度，通过账号来发现非人类流量。
之前没有账号只能通过 cookie 和 ip。cookie 又是易变，易挥发的，很难长期标识一个用户。
网络走向关闭
新浪微博在 2012 年以前都是根本不封的，轻易写一个程序怎么抓都不封，然而很快，越来越多的站点都开始避免竞争对手，避免爬虫来抓取，数据逐步走向关闭，越来越多的人难以获得数据。甚至都呈现了业余的爬虫公司，这在 2010 年以前是不可设想的。。
反爬伎俩，封杀手法千差万别
写一个通用的框架抓取成千盈百万的网站曾经成为历史，或者说曾经是一个技术绝对成熟的工作，也就是曾经有绝对成熟的框架来”盗“成千盈百的墓，然而极个别的墓则须要非凡伎俩了，目前市场上比拟难以抓取的数据包含，微信公共账号，微博，facebook，ins，淘宝等等。
具体起因各异，但根本无奈用一个对立框架来实现，太非凡了。如果有一个通用的框架能解决我说的这几个网站的抓取，这肯定是一个十分震撼的产品，如果有，肯定要通知我，那我公开出来，而后就改行了。
当面对以上三个挑战的时候，就须要智能爬虫。智能爬虫是让爬虫的行为尽可能模拟人类行为，让反爬策略生效，只有”混在老百姓队伍外面，才是平安的“，因而这就须要推敲浏览器了，很多人把爬虫写在了浏览器插件外面，把爬虫写在了手机外面，写在了路由器外面(春节抢票王)。
再有一个传统的爬虫都是只有读操作的，没有写操作，这个很容易被判是爬虫，智能的爬虫须要有一些自动化交互的行为，这都是一些抵挡反爬策略的办法。
从商业价值上，是一个可能形象千百万网站抓取框架的爬虫工程师值钱，还是一个能抓特定难抓网站的爬虫工程师值钱？
能花钱来买，被市场认可的数据，都是那些特地难抓的，抓取老本异样高的数据。
目前市场上支流的爬虫工程师，都是可能抓成千盈百网站的数据，但如果想有价值，还是得有能力抓特地难抓的数据，能力估上好价格。
IT 入门 感激关注 | 练习地址：www.520mg.com/it