大数据时代下，爬虫技术逐步成为一套残缺的系统性工程技术，波及的知识面广，平台多，技术越来越多样化，对抗性也日益显著。
大家能够参考一下学习路线，看看本人须要对哪些常识进行补充。
学习路线总结
根底学习路线总结：
- 主语言根底语法
- 罕用网络申请库、解析库
- 罕用抓包工具
- 自动化工具库
- 风行采集框架
- 多过程、多线程、协程、分布式爬虫
- 采集器治理
Js 逆向学习路线总结：
- 浏览器结构、根底语法、作用域
- Bom、Dom 属性和办法
- 调试工具
- 加密参数定位办法
- 常见混同和加密
- 浏览器环境补充
- AST
小程序逆向学习路线总结：
- 小程序基础架构
- 小程序语法
- 反编译工具
- 代码修复
- hook 办法
安卓逆向学习路线：
- 安卓逆向原理
- java、smali、arm 语法
- 反编译工具
- 加密参数定位办法
- 调试和 hook 工具
- 反检测和反调试
- 加固和脱壳
零碎进步
加密算法特色和实现
须要把握常见加密算法，MD5、AES、DES、RSA、HASH、ECC 等在 Js 和 java 代码中的特色及咱们的主语言实现办法。
python 实现：https://blog.csdn.net/tongton…
java 实现：https://blog.csdn.net/zl1zl2z…
go 实现：https://blog.csdn.net/weixin_…
传输协定和通信协定
一些自定义的协定暂不列出了，总结一下常见的。
传输协定：json、xml、protobuf、tlv 等
通信协定：http/https、tcp/udp、ws/wss、tls 等
各种验证码识别方法
验证码品种很多，各种验证形式也层出不穷，这里列出常见的验证。
具体解决办法能够到 github 查找开源辨认库。
- 图文验证码：图文辨认、逻辑计算
- 滑动验证码：缺口拼图、轨迹验证
- 点选验证码：文字点选、图标点选
- 逻辑验证码：语义辨认、空间推理
- 短信验证码：接码平台、hook 监听
集体汇总专栏
专栏以教学为基准，提供的可操作性不得用于任何商业用途和守法违规场景。
网络爬虫根底：适宜有 python 语法根底
web 逆向根底：Js 逆向案例，有爬虫教训即可
安卓逆向根底：工具介绍、逆向记录、案例分享
爬虫案例合集：工作中的案例总结，继续更新
Github 代码库
爬虫逆向社区
爬虫逆向社区：https://bbs.csdn.net/forums/lx
可在社区进行技术分享，有问题也能够问答交换，欢送大家退出！