关于爬虫:mitmproxy篇三mitmdump

简介

mitmdump 命令最大的特点就是能够自定义脚本，你能够在脚本中对申请或者响应内容通过编程的形式来管制，实现数据的解析、批改、存储等工作

参数

-q

屏蔽mitmdump默认的控制台日志，只显示本人脚本中的

-s

调用脚本文件
mitmdump -s script.py

-p

指定端口，默认为8080

-w

保留到文件
mitmdump -w crawl.txt  

–set body-size-limit

set body-size-limit=10k 
只解决小于 10k 的申请

“~m post”

只解决 post 办法的申请

示例

启动:mitmdump -q -s ceshi.py

ceshi.py文件

#发动申请时批改UA
def request(flow):
    flow.request.headers['User-Agent'] = 'MitmProxy'
    print(flow.request.headers)

#将拦挡到的链接与响应内容打印
def response(flow):
    url = flow.request.url
    if url.startswith("https://xxx.xxx.com/xx/xx?"):
        print('--------------------------------------------------------')
        print(url)
        body = flow.response.content.decode()
        print(body)