关于爬虫:mitmproxy篇三mitmdump

4次阅读

共计 597 个字符，预计需要花费 2 分钟才能阅读完成。

mitmdump 命令最大的特点就是能够自定义脚本，你能够在脚本中对申请或者响应内容通过编程的形式来管制，实现数据的解析、批改、存储等工作

 屏蔽 mitmdump 默认的控制台日志，只显示本人脚本中的

 调用脚本文件
mitmdump -s script.py

 指定端口，默认为 8080

 保留到文件
mitmdump -w crawl.txt

set body-size-limit=10k 
只解决小于 10k 的申请

 只解决 post 办法的申请

 启动:mitmdump -q -s ceshi.py

ceshi.py 文件

#发动申请时批改 UA
def request(flow):
    flow.request.headers['User-Agent'] = 'MitmProxy'
    print(flow.request.headers)

#将拦挡到的链接与响应内容打印
def response(flow):
    url = flow.request.url
    if url.startswith("https://xxx.xxx.com/xx/xx?"):
        print('--------------------------------------------------------')
        print(url)
        body = flow.response.content.decode()
        print(body)

正文完