关于爬虫:mitmproxy篇三mitmdump

简介

mitmdump 命令最大的特点就是能够自定义脚本，你能够在脚本中对申请或者响应内容通过编程的形式来管制，实现数据的解析、批改、存储等工作

参数

-q

屏蔽mitmdump默认的控制台日志，只显示本人脚本中的

-s

调用脚本文件mitmdump -s script.py

-p

指定端口，默认为8080

-w

保留到文件mitmdump -w crawl.txt  

–set body-size-limit

set body-size-limit=10k 只解决小于 10k 的申请

“~m post”

只解决 post 办法的申请

示例

启动:mitmdump -q -s ceshi.py

ceshi.py文件#发动申请时批改UAdef request(flow):    flow.request.headers['User-Agent'] = 'MitmProxy'    print(flow.request.headers)#将拦挡到的链接与响应内容打印def response(flow):    url = flow.request.url    if url.startswith("https://xxx.xxx.com/xx/xx?"):        print('--------------------------------------------------------')        print(url)        body = flow.response.content.decode()        print(body)