关于爬虫:闲鱼app数据实时采集探索实验

前言

本文章分享一下最近钻研闲鱼app商品数据采集。

技术栈

1. Python
2. Frida
3. JADX
4. Objection
5. Android Studio

思路

1. 应用Android Studio创立x86模拟器并运行，装置闲鱼和frida
2. 应用Objection hook URL类，打印调用栈剖析出要害函数
3. 应用JADX关上APK剖析要害函数的参数
4. 应用firda结构参数调用要害函数
5. python获取来自frida脚本的回调写入es数据库，依照小时分片
6. 裸露接口实现任意关键词的实时查问

成果

能够看出闲鱼每秒大略有30-40条新数据产生，咱们的申请速度为每5s一次，刷新速度甚至低于人工操作app时候的频率，不会对服务器造成任何影响，咱们把他们写入咱们本人的数据库，便能够实现实时剖析。

总结

1. 通过这次试验，我学会了应用frida去获取app的数据，不须要毁坏app自身的任何货色，也不须要进行http抓包，间接hook函数即可实现，十分敌对
2. 从技术角度讲，这样的思路能够搞定所有app。