这一系列文章是我在浏览“Python3 网络爬虫开发实际”一书以及其余线上材料学习爬虫过程中的一些笔记和心得，心愿能分享给大家。
章节概述 ：如何爬取 APP 里的内容
章节构造 ：
- Charles
- mitmproxy
- Appium
具体内容：
- Charles
Charles 是一个网络抓包工具，可用于 App 抓包剖析，跨平台反对。
原理：Charles 运行在 PC 上，会在 8888 端口开启一个 HTTP/HTTPs 代理服务，手机和电脑在同一局域网的状况下，能够通过手机模拟器虚构网络连接，手机代理设为 Charles 地址，手机 App 拜访互联网是，包裹就会通过 Charles，从而抓取包裹。
Charles 有本人的图形界面，能够显示抓取的 request 和 response 包的具体内容。还能够提取不同的字段，进行剖析。
- mitmproxy
mitmproxy 是一个反对 HTTP 和 HTTPS 的抓包程序，有本人的控制台（CLI）。能够用于拦挡 HTTP 申请和响应，保留 HTTP 会话并进行剖析，模仿客户端发动申请，摸摸你服务器端返回响应，利用代理转发等。
具体操作：https://docs.mitmproxy.org/st…
- Appium
Appium 是一个跨平台挪动端自动化测试工具。能够给 ios 和 android 平台创立自动化测试用例。能够模仿 App 外部操作，比方点击，滑动，拖拽等。
Python 也有 appium 对应的库，通过引入 appium 中的 webdriver 库，来近程操作手机上的利用，比方有 find_element 等办法来获取利用中的元素，从而进行操作，进而抓取信息。