乐趣区

关于程序员:爬虫学习进阶路线

大数据时代下,爬虫技术逐步成为一套残缺的系统性工程技术,波及的知识面广,平台多,技术越来越多样化,对抗性也日益显著。

大家能够参考一下学习路线,看看本人须要对哪些常识进行补充。

学习路线总结

根底学习路线总结:

  • 主语言根底语法
  • 罕用网络申请库、解析库
  • 罕用抓包工具
  • 自动化工具库
  • 风行采集框架
  • 多过程、多线程、协程、分布式爬虫
  • 采集器治理

Js 逆向学习路线总结:

  • 浏览器结构、根底语法、作用域
  • Bom、Dom 属性和办法
  • 调试工具
  • 加密参数定位办法
  • 常见混同和加密
  • 浏览器环境补充
  • AST

小程序逆向学习路线总结:

  • 小程序基础架构
  • 小程序语法
  • 反编译工具
  • 代码修复
  • hook 办法

安卓逆向学习路线:

  • 安卓逆向原理
  • java、smali、arm 语法
  • 反编译工具
  • 加密参数定位办法
  • 调试和 hook 工具
  • 反检测和反调试
  • 加固和脱壳

零碎进步

加密算法特色和实现

须要把握常见加密算法,MD5、AES、DES、RSA、HASH、ECC 等在 Js 和 java 代码中的特色及咱们的主语言实现办法。

python 实现:https://blog.csdn.net/tongton…
java 实现:https://blog.csdn.net/zl1zl2z…
go 实现:https://blog.csdn.net/weixin_…


传输协定和通信协定

一些自定义的协定暂不列出了,总结一下常见的。

传输协定:json、xml、protobuf、tlv 等
通信协定:http/https、tcp/udp、ws/wss、tls 等


各种验证码识别方法

验证码品种很多,各种验证形式也层出不穷,这里列出常见的验证。

具体解决办法能够到 github 查找开源辨认库。

  • 图文验证码:图文辨认、逻辑计算
  • 滑动验证码:缺口拼图、轨迹验证
  • 点选验证码:文字点选、图标点选
  • 逻辑验证码:语义辨认、空间推理
  • 短信验证码:接码平台、hook 监听

集体汇总专栏

专栏以教学为基准,提供的可操作性不得用于任何商业用途和守法违规场景。

网络爬虫根底:适宜有 python 语法根底

web 逆向根底:Js 逆向案例,有爬虫教训即可

安卓逆向根底:工具介绍、逆向记录、案例分享

爬虫案例合集:工作中的案例总结,继续更新

Github 代码库


爬虫逆向社区

爬虫逆向社区:https://bbs.csdn.net/forums/lx

可在社区进行技术分享,有问题也能够问答交换,欢送大家退出!

退出移动版