Python 爬虫是什么？
咱们在网络上收集材料的过程其实就称之为爬虫（web scraping）。复制粘贴歌词、摘抄文本或数据都能够算作爬虫的一部分，但网络编程背景下的爬虫，更强调自动化，通过 Python 编程实现主动爬取资源，从而缩小人力资源与精力耗费，提高效率。
注： 在入手爬虫之前，程序员们还是须要思考一些法律相干的问题。一般而言，开源或教育相干用处的爬虫并不会涉及法律问题，但若用作其余商业用途或波及一些敏感事物，爬虫也可能波及违反服务条款甚至其余法律纠纷。同样地，有些网站也会防止爬虫而通过其余伎俩进步平安门槛。
在法律容许的范畴内，学习应用 Python 实现自动化爬虫能让大家在资讯纷杂的网络世界中，疾速地收集本人所需的材料。这篇文章将通过虚构的求职网站 Fake Python 以及应用 Lightly IDE 展现残缺的我的项目代码，疏导大家在无需装置第三方软件的状况下，入手在浏览器中编写代码，理解 Python 爬虫。
Lightly 爬虫我的项目代码：https://538cd3972a-share.lightly.teamcode.com
理解网站的根底构造
在开始编写 Python 代码前，合格的程序员还是须要具备根底的网页常识。在这里关上教程中所应用的网页：https://realpython.github.io/fake-jobs/
右键点击“查看页面源代码”，关上后将展现网页的 HTML 代码。
除了右键查看外，应用 Windows 的同学也能够通过 Ctrl + Shift + I（MacOS: Cmd + Alt + I）的形式调动开发人员工具，在“元素”中查看源代码。应用开发人员工具能够折叠或开展代码，也能够依据鼠标悬浮展现代码在网页中所对应的内容。
在 Python 爬虫中，同学们无需被缭乱的 HTML 代码劝退。一般而言，咱们能够关注 id / class 等元素，从中找到对应的分组，即可借用 Python 和 Lightly IDE，从这些代码中剖析出咱们所需的内容。
后行筹备：装置 requests 及 BeautifulSoup 库
首次应用 Lightly 或此前未装置 requests 及 bs4 库的同学，在开始编写我的项目代码前需在终端通过 pip install requests 以及 pip install bs4 别离装置依赖。
若此前忘了装置，应用 Lightly 的同学也能够通过 QuickFix 的形式，一键装置缺失依赖。
手把手实操 Python 爬虫
通过 Lightly 快照中的 Python 我的项目代码，复制到集体我的项目中进行学习：https://538cd3972a-share.lightly.teamcode.com
如何关上并编辑别人用 Lightly 分享的我的项目？
注：快照复制到集体我的项目后，任何批改都不会影响到本来的快照链接，同学们可释怀对本人的代码进行批改，也能够随时通过快照链接再次查看源代码。
Lightly Python 爬虫实操我的项目代码中，分成多个章节通过代码中的正文解说 BeautifulSoup 中的各个元素。
实现学习后的输入成果如下：
爬虫的挑战
此次爬虫中所应用的练习网站较为简单，但也展现了根底 Python 爬虫中须要具备的常识与利用。事实应用的网页或者会比练习中的网页更为简单，不同编程人员所应用的编程语言、格调、安全系数等都有可能影响爬虫的难易度。
此外，对于信息更新较为频繁的网站而言，大家在学习爬虫的过程中也有可能发现每次运行的内容都可能呈现变动。若网站的改变较大，过来所建设好的爬虫代码就有可能生效。因而，学习 Python 爬虫是一个常练常新的过程。在法律法规容许的范畴内，进一步通过已习得的技巧多加练习与交换，能力真正地将爬虫作为有利于本人的工具，增进工作效率与集体能力。