应用Python3网络爬虫实战8日爬取相关库的安装:MitmProxy的安装

  

MitmProxy是一个支持HTTP和HTTPS的抓包程序,类似提琴手,查尔斯的功能,只不过它是一个控制台的形式操作。
同时MitmProxy还有两个关联组件,一个是MitmDump,它是MitmProxy的命令行接口,利用它我们可以对Python脚接本,用Python实现监听后的处理。另一个是MitmWeb,它是一个Web程序,通过它我们可以清楚地观察到MitmProxy捕获的请求。
本节我们来了解一下MitmProxy, MitmDump, MitmWeb的安装方式。

  

1。相关链接

  
      <李> GitHub: https://github.com/mitmproxy/..。   <李>官方网站:https://mitmproxy.org   <李> PyPi: https://pypi.python.org/pypi/..。   <李>官方文档:http://docs.mitmproxy.org   <李> MitmDump脚本:http://docs.mitmproxy.org/en/..。   <李>下载地址:https://github.com/mitmproxy/..。   <李> DockerHub: https://hub.docker.com/r/mitm..。   
  

2。皮普安装

  

最简单的安装方式还是使用破壳而出,直接执行如下命令即可安装:

  
 <代码> pip3安装mitmproxy  
  

这是最简单和通用的安装方式,执行完毕之后即可完成MitmProxy的安装,另外还安装了MitmDump, MitmWeb两个组件,如果不想用此种方式安装也可以选择下文列出的专门针对各个平台的安装方式或者码头工人安装方式。

  

3。Mac下的安装

  

Mac的安装非常简单,使用自制程序即可,命令如下:

  
 <代码>安装mitmproxy酿造
  Python资源分享群784758214,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎 
  

执行命令后即可完成MitmProxy的安装。

  

4。码头工人安装

  

MitmProxy也支持码头工人,其码头工人的中心地址为https://hub.docker.com/r/mitm..。
码头工人下MitmProxy的安装命令为:

  
 <代码>码头工人运行——rm - - p 8080:8080 mitmproxy/mitmproxy mitmdump  
  

这样就在8080端口上启动了MitmProxy和MitmDump。
如果想要获取CA证书,可以选择挂载磁盘选项,命令如下:

  
 <代码>码头工人运行——rm - - v ~/.mitmproxy:/home/mitmproxy/itmproxy - p 8080:8080 mitmproxy/mitmproxy mitmdump  
  

这样可以在~/itmproxy目录找到CA证书。
另外还可以在8081年端口上启动MitmWeb,命令如下:

  
 <代码>码头工人运行——rm - - p 8080:8080 - p 127.0.0.1:8081:8081mitmproxy/mitmproxy mitmweb  
  

更多启动方式可以参考码头工人中心的安装说明。

  

5。证书配置

  

对于MitmProxy来说,如果想要截获HTTPS请求,我们就需要设置证书,MitmProxy在安装后会提供一套CA证书,只要客户端信任了MitmProxy提供的证书,我们就可以通过MitmProxy获取HTTPS请求的具体内容,否则MitmProxy是无法解析HTTPS请求的。
首先运行一下命令产生CA证书,启动MitmDump即可:
MitmDump
这样即可启动MitmDump,接下来我们就可以在用户目录下的.mitmproxy目录里面找到CA证书,如图1 - 61所示:

  

 Python3网络爬虫实战8,应用爬取相关库的安装:MitmProxy的安装

  

图1 - 61证书文件
证书一共五个,下面是对这五个证书的说明:

  

 Python3网络爬虫实战8,应用爬取相关库的安装:MitmProxy的安装

  

下面我们介绍一下Mac, iOS、Android平台下的证书配置过程。

  <编辑> Mac   

Mac下双击mitmproxy-ca-cert。pem即可弹出钥匙串管理页面,然后找到mitmproxy证书,点击打开其设置选项,选择始终信任即可,如图1 - 66所示:

  

 Python3网络爬虫实战8,应用爬取相关库的安装:MitmProxy的安装

  

图1 - 66证书配置
这样就配置完成Mac下信任CA证书了。

  iOS <编辑>   

将mitmproxy-ca-cert。pem文件发送到iPhone上,推荐使用邮件的方式发送,iPhone上可以直接点击附件并识别安装,如图1 - 67所示:

  

 Python3网络爬虫实战8,应用爬取相关库的安装:MitmProxy的安装

  

图1 - 67证书安装页面
点击之后会跳到安装描述文件的页面,点击右上角的安装按钮即可安装,此处会有警告提示,如图1 - 68所示:

  

 Python3网络爬虫实战8,应用爬取相关库的安装:MitmProxy的安装

应用Python3网络爬虫实战8日爬取相关库的安装:MitmProxy的安装