爬虫如何利用Mitmproxy破解应用 - 行业资讯 - 肥雀云

　　介绍

这篇文章将为大家详细讲解有关爬虫如何利用Mitmproxy破解应用,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

Mitmproxy就是用于MITM的代理,MITM即中间人攻击(中间人攻击)。用于中间人攻击的代理首先会向正常的代理一样转发请求,保障服务端与客户端的通信,其次会实时查,记录其截获的数据或篡改数据,引发服务端或客户端特定的行为。

利用提琴手可以过滤出浏览器对某个特定URL的请求,并查看,分析其数据,
但实现不了高度定制化的需求,类似于:“截获对浏览器对该URL的请求,将返回内容置空,并将真实的返回内容存到某个数据库,出现异常时发出邮件通知”。而对于Mitmproxy,这样的需求可以通过载入自定义python脚本轻松实现。

但Mitmproxy并不会真的对无辜的人发起中间人攻击,由于Mitmproxy工作在HTTP层,而当前HTTPS的普及让客户端拥有了检测并规避中间人攻击的能力,所以要让Mitmproxy能够正常工作,必须要让客户端(app或浏览器)主动信任Mitmproxy的SSL证书,或忽略证书异常,这也就意味着应用程序或浏览器是属于开发者本人的——显而易见,这不是在做黑产,而是在做开发或测试。

目前比较广泛的应用是做仿真爬虫,即利用手机模拟器,无头浏览器来爬取应用或网站的数据,Mitmproxy作为代理可以拦截,存储爬虫获取到的数据,或修改数据调整爬虫的行为。