一、前言：

小红书的爬虫次要是从搜寻动手，爬取某个关键词下的所有笔记，通过调研发现有有两个渠道，第一个是 App，第二个小程序。先说小程序端，通过抓包发现，每篇文章对应着一个 auth-sign ，这个参数应该有小程序外部生成，无奈获取到，有种思路就是能够通过按键精灵或者 Mitmproxy 获取到每篇笔记的 auth-sign ，而后就能够通过接口去爬，这两头还须要一个自动化管制手机工具；再来说 App 端，须要有好几个加密参数 sign\token\shield，之前git下面还有大神保护着一个服务器能够破解签名，当初曾经生效了，App 逆向临时还没学（已提上日程），所以还是用手机端的自动化测试工具来爬，次要软件有Appium和Airtest，Appium 坑比拟大，不仅装置麻烦而且调试时极不不便，再者获取不到小红书笔记的详情页的页面构造，本文次要讲下应用 Airtest + Mitmproxy 进行手机端的爬虫，这两者加起来，能够解决90%的 App 爬虫吧，除了淘宝...但能够用Pypeteer。

二 、Airtest

Airtest 是一个跨平台的、 基于图像识别 的UI自动化测试框架，实用于游戏和App，反对平台有Windows、Android 和 IOS，次要编写语言为 python。官网 -> 点我， 官网文档 ->[ [点我]](http://airtest.netease.com/do... ，根本应用能够看下青南大佬的blog ->[ [点我]](https://www.kingname.info/201...


Airtest与Appium相比最大的长处是能够实时的看到页面的动静，而且反对图像识别进行点击等操作

三、应用Airtest自动化管制App

后期的应用能够在Airtest自带的IDE中调试，毕竟边操作边看到界面是十分不便地，等成熟之后搬到pycharm中执行再思考作定时工作等

四、Airtest根本[Api]应用：

  1. 获取元素：

    • ls = poco(name="com.xingin.xhs:id/aj8") 通过name获取
    • ls = poco(text=item.get_text()) 通过text
    • poco("android.widget.LinearLayout").offspring("com.xingin.xhs:id/ak6") 通过目录树
  2. 点击元素： x.click()
  3. 获取文本： x.get_text()
  4. 滑动屏幕： swipe([0.5, 0.8], [0.5, 0.7]) 从一个点到另一个点
  5. 是否存在： x.exist()
  6. 安卓ADB操作：
from airtest.core.android.adb import ADBadb = ADB(serialno='OF9SBMY59D69756L')# 原始 adb shell 命令为 adb shell input keyevent 26adb.start_shell('input keyevent 26') # 唤醒屏幕# 启动app app包名adb.start_shell('am start -n com.xingin.xhs/.activity.SplashActivity') # 获取app包名aapt dump badging C:\Users\xx\Desktop\xiaohongshu.apk# launchable-activity: name='com.xingin.xhs.activity.SplashActivity'  其余 API

踩的一些坑

  • 官网的问题示例 能解决大部分问题 [[点我]](http://airtest.netease.com/do...
  • Airtest与pycharm中执行脚本互斥 不能同时开
  • 点击时可能会有两种BUG呈现，第一是点击无反馈，只能作容错解决；第二是点击内容在屏幕之外，这时须要上滑屏幕，而后再做点击

五、Mitmproxy

mitmproxy是一个反对HTTP和HTTPS的抓包程序，相似Fiddler、Charles的性能，只不过它通过控制台的模式操作；应用 mitmproxy 最次要是应用它的一个组件 mitmdump ，它能够通过python脚本解决响应内容，相似于Fiddler的界面抓包，然而咱们能够更加不便地拿到响应数据

  1. 装置 -> 点我
  2. 应用：
mitmdump -s mitm.py   # 手机连贯电脑ip：8080
# 拦挡某个链接if flow.request.url.startswith(detail_url):    text = flow.response.text # 获取链接的响应
  • 需注意每个链接都会通过这个办法

六、小红书

次要逻辑：

  1. 进入App：

    • 唤醒屏幕 adb.start_shell('input keyevent 26')
    • 解锁
    • 启动APPadb.start_shell('am start -n com.xingin.xhs/.activity.SplashActivity')
  2. 启动mitmproxy mitmdump -s mitm.py

  3. 模仿操作：

    • 获取以后界面列表页的所有商品，点击进入，mitm会捕捉指标链接，在mitm.py解决数据

    • 点击返回有三种办法：

      • 通过页面返回按钮，实测按钮会点击无反馈；
      • 通过Airtest的touch图像识别办法，需将图片放入同一门路下；
      • 点击手机返回键，举荐！ adb.start_shell('input keyevent 4')
  4. 入库
  5. 退出程序，锁屏
  6. 补充：代码不多，次要是模仿人操作，而后加上容错判断，比方

if poco(name="com.xingin.xhs:id/aon").exists()             poco.wait_for_any(poco(name="com.xingin.xhs:id/al0"))


TiToData：业余的短视频、直播数据接口服务平台，网址： TiToData

笼罩支流平台：抖音，快手，小红书，TikTok，YouTube