怎么在python中利用代理池更换IP

　　介绍

这篇文章将为大家详细讲解有关怎么在python中利用代理池更换IP,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

python是什么意思

python是一种跨平台的,具有解释性,编译性,互动性和面向对象的脚本语言,其最初的设计是用于编写自动化脚本,随着版本的不断更新和新功能的添加,常用于用于开发独立的项目和大型项目。

1。安装环境

#,安装python虚拟环境,,python环境最好为python3.6,再往上的话,安装依赖时会报的错 　　sudo  apt 更新 　　sudo  apt  install  python3.6 　　virtualenv pip3  install  　　virtualenv  venv ——python=python3.6 　　source  venv/bin/激活 　　 　　#,安装复述 　　sudo  apt  install  redis-server 　　#,启动redis 服务器 　　redis-server

, 2。安装依赖

git  clone  https://github.com/jhao104/proxy_pool.git 　　cd  proxy_pool 　　pip  install  -r 让

3。修改配置文件

#,修改setting.py  　　 　　#,配置API服务 　　 　　时间=HOST “0.0.0.0",,, #, IP 　　PORT =, 5010,,,,, #,监听端口 　　 　　#,配置数据库 　　 　　#,以下为三个示例,根据复述的配置,选择其中一种即可 　　#,一般启动复述时如果没有配置文件,那么选择第一种即可 　　#,1只Redis  IP:, 127.0.0.1 端口:6379 　　时间=DB_CONN  & # 39;复述://@127.0.0.1:6379& # 39; 　　#,2只Redis  IP:, 127.0.0.1 端口:,6379,密码:123456 　　时间=DB_CONN  & # 39;复述://:123456 @127.0.0.1:6379& # 39; 　　#,3只Redis  IP:, 127.0.0.1 端口:,6379,密码:,123456,DB: 15 　　时间=DB_CONN  & # 39;复述://:123456 @127.0.0.1:6379/15& # 39; 　　 　　, 　　 　　#,配置ProxyFetcher 　　 　　PROXY_FETCHER =, ( 　　,“freeProxy01",, #,这里是启用的代理抓取方法名,所有获取方法位于访问者/proxyFetcher.py 　　,“freeProxy02", 　　,# .... 　　)

4。启动

#,可以用tmux开三个窗口 　　 　　#,启动调度程序 　　python  proxyPool.py 时间表 　　 　　#,启动webApi服务 　　python  proxyPool.py 服务器

5。测试

import 请求 　　 　　def  get_proxy (): 　　,return  requests.get (“http://127.0.0.1:5010得到/?. json () 　　 　　def  delete_proxy(代理): 　　,requests.get (“http://127.0.0.1:5010/删除/?代理={}“.format(代理) 　　 　　#,your  spider 代码 　　 　　def  getHtml (): 　　,# .... 　　retry_count =, 5=,,proxy  get_proxy () . get (“proxy") 　　,while  retry_count 祝辞,0: 　　尝试才能: 　　,,html =, requests.get (& # 39; http://www.example.com& # 39;,,代理={“http":“http://{}“.format(代理)}) 　　,#,才能使用代理访问 　　,,return  html 　　except 才能;例外: 　　,,retry_count  -=1 　　,#删除代理池中代理 　　,delete_proxy(代理) 　　,return 没有

怎么在python中利用代理池更换IP”> </p> <p class=关于怎么在python中利用代理池更换IP就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看的到。

怎么在python中利用代理池更换IP