这一系列文章是我在浏览“Python3网络爬虫开发实际”一书以及其余线上材料学习爬虫过程中的一些笔记和心得，心愿能分享给大家。

章节概述：如何爬取APP里的内容

章节构造：

  • Charles
  • mitmproxy
  • Appium

具体内容：

  • Charles

Charles是一个网络抓包工具，可用于App抓包剖析，跨平台反对。
原理：Charles运行在PC上，会在8888端口开启一个HTTP/HTTPs代理服务，手机和电脑在同一局域网的状况下，能够通过手机模拟器虚构网络连接，手机代理设为Charles地址，手机App拜访互联网是，包裹就会通过Charles，从而抓取包裹。
Charles有本人的图形界面，能够显示抓取的request和response包的具体内容。还能够提取不同的字段，进行剖析。

  • mitmproxy

mitmproxy是一个反对HTTP和HTTPS的抓包程序，有本人的控制台（CLI）。能够用于拦挡HTTP申请和响应，保留HTTP会话并进行剖析，模仿客户端发动申请，摸摸你服务器端返回响应，利用代理转发等。
具体操作：https://docs.mitmproxy.org/st...

  • Appium

Appium是一个跨平台挪动端自动化测试工具。能够给ios和android平台创立自动化测试用例。能够模仿App外部操作，比方点击，滑动，拖拽等。
Python也有appium对应的库，通过引入appium中的webdriver库，来近程操作手机上的利用，比方有find_element等办法来获取利用中的元素，从而进行操作，进而抓取信息。