共计 1893 个字符，预计需要花费 5 分钟才能阅读完成。
最近常常有小伙伴征询，爬虫到底该怎么学，有什么爬虫学习路线能够参考下，萝卜作为非专业爬虫爱好者，明天咱们就来分享下，对于咱们平时的根底爬虫或者小规模爬虫，应该把握哪些技能、须要如何学起！
学习路线纲要
Python 根底
因为本篇次要介绍 Python 爬虫学习路线，所以对于 Python 基础知识，仅仅提取了最为根底的局部，应酬根底爬虫齐全够用了，当然，对于底层根底，必定是把握的越多、越牢固越好~
-
环境搭建
- Python 装置
- 开发工具 – PyCharm，VS Code
-
变量
- 定义变量
- 命名规定
- 根本数据类型
-
根本数据结构
- 字符串
- 列表
- 字典
- 汇合
- 元组
-
流程管制
- 条件
- 循环
-
函数
- 调用函数
- 定义函数
- 函数参数
- lambda 函数
-
面向对象编程
- 类和对象
- 拜访限度
- 装璜器
数据采集与解析
-
HTTP 基本原理
- URI 和 URL 对立资源定位符
- HTTP&HTTPS 申请与响应
- HTML 组成原理
-
WEB 基本原理
- JavaScript&HTML&CSS
- 节点树与节点
- Web 加载原理
- 静动静 Web 页面
-
Socket 库
- 基于 socket 协定的爬虫
-
Requests 库
- requests 库的应用
- cookie 与 session
- 模仿登录
- 申请头模仿
- IP 代理
-
正则表达式
- re 模块的应用
- 根本字符串、数字等匹配规定
- 贪心与非贪心匹配
-
Xpath
- 执行原理
- 节点操作
- 元素操作
多种采集形式
-
同步采集
- requests
-
异步采集
- aiohttp
- aiofiles
-
Selenium
- 环境搭建 – webdriver
- 元素抉择 –（id，css，class，xpath）
- 模仿登录
- 暗藏 selenium 特色
-
AJAX
- Ajax 原理
- Ajax 申请与响应解析
-
Pyppeteer
- 环境装置
- 模仿点击
- 执行 JS 代码
存储常识
-
本地文件
- os 库
- open 文件
- 读写 Excel
- 读写 CSV
-
MySQL
- 表结构设计
- 同步 / 异步写入 MySQL
-
Redis
- 读写操作
- 根本数据类型与抉择
-
MongoDB
- 繁多写入
- 批量写入
-
与 Pandas 联合
- 存储成 Pandas 数据结构
- Pandas 基本操作
中间人代理
-
Charles
- 装置与配置
- 数据拦挡
- 安卓模拟器
-
Mitmproxy
- 脚本编写
- 数据截取
- 代理响应
-
HttpCanary
- 根本应用
爬虫框架
-
Scrapy
- 环境搭建
- 组件拆解
- 通用爬虫
- 分布式爬虫 –（scrapy-redis 应用，scrapy-redis 调度器）
- Crawley
-
Selenium
- 分布式部署
- PySpider
反爬虫常识
-
信息校验型
- 模仿登录
- Cookie 机制
- 用户代理
- 签名验证机制
- header 机制
-
动静渲染型
- 页面异步加载
-
文本混同型
- 图文混同 – 要害信息以图片模式给出
- 字体反爬 –（反爬原理，编码破解）
-
特色辨认型
- 拜访频率限度 –（IP 代理池，搭建集体 IP 代理池）
- Selenium 特色检测 – 暗藏 Selenium 特色
-
验证码
- 验证码原理
- 图文验证码
- 点选验证码
- 滑动验证码
- 其余变态验证码
-
JS 混同
-
JS 逆向
多终端爬虫
-
- WEB 采集
- APP 采集
- 小程序采集
- 数据去重
- 断点采集
- 增量采集
以上就是整顿的根底爬虫所需的学习路线，当然鉴于集体程度无限，不免有不足之处，还望不吝指教！
上面分享一些收费好用的学习材料，大家自选
视频
-
2020 年 Python 爬虫全套课程（学完可做我的项目）
- https://www.bilibili.com/vide…
-
Python 爬虫编程根底 5 天速成（2021 全新合集）Python 入门 + 数据分析
- https://www.bilibili.com/vide…
-
2021 年最新 Python 爬虫教程 + 实战我的项目案例（最新录制）
-
https://www.bilibili.com/vide…
网盘材料
-
-
《Python 网络爬虫实战》
- https://pan.baidu.com/s/1ZZ1G… 提取码: h5fx
-
《Python 网络数据采集》
- 链接: https://pan.baidu.com/s/1yMgu… 提取码: vq8y
-
Python 分布式爬虫
- 链接: https://pan.baidu.com/s/1EY_n… 提取码: 73s8
在线网站
-
廖雪峰官网 Python 教程
- https://www.liaoxuefeng.com/w…
-
莫凡 Python
- https://mofanpy.com/
相干法律法规
- 恪守 Robots
- 管制拜访速率
- 敏感信息不碰触
- 国家平安大于天
- 获取的数据不进行非法盈利
- 其余违反法律法规的动作
基本上做到以上几点，咱们的爬虫就是平安的，不要适度妖魔化爬虫，当然网络更不是法外之地，要做一个合格的遵纪守法好公民！
序幕
以上就是萝卜断断续续写了几天，联合集体教训，同时也参考了网上大量的视频、文章总结而成的 Python 爬虫学习路线，的确十分的不容易，如果大家感觉称心请务必点个赞 + 在看 反对下。
公众号后盾回复【爬虫路线】能够获取学习纲要思维导图原图
本文由 mdnice 多平台公布