平时当我们需要爬取一些我们需要的数据时,总是有些网站禁止同一IP重复访问,这时候我们就应该使用代理IP,每次访问前伪装自己,让“敌”人无法察觉。
oooooooooooooooOK,让我们愉快的开始吧!
注:文中会有些英文注释,是为了写代码方便,毕竟英文一两个单词就好了
# !/usr/bin/python
# - * -编码:utf - 8 - *
”“”
作者:dasuda
”“”
进口urllib2
进口再保险
进口套接字
进口线程
findIP=[] #获取的原始IP数据
IP_data=https://www.yisu.com/zixun/[] #拼接端口后的IP数据
IP_data_checked=[] #检查可用性后的IP数据
findPORT=[] # IP对应的端口
available_table=[] #可用IP的索引
def getIP (url_target):
patternIP=re.compile (r’(& # 63; & lt;=& lt; td>) (\ d) {1,3} \ \ [d]。{1,3} \ \ [d]。{1,3} \ \ [d]。{1,3}’)
patternPORT=re.compile (r’(& # 63; & lt;=& lt; td>) (\ d) {2、5} (& # 63;=& lt;/td>)”)
打印”现在,开始刷新代理IP……”
页面的范围(1、4):
url=' http://www.xicidaili.com/nn/' + str(页面)
头={“用户代理”:“Mozilla/5.0 (Windows NT 10.0;WOW64)}=urllib2请求。请求(url=url,标题=头)
响应=urllib2.urlopen(请求)
内容=response.read ()
findIP=re.findall (patternIP str(内容)
findPORT=re.findall (patternPORT str(内容)
#组装的ip和端口
因为我在范围(len (findIP)):
findIP[我]=findIP[我]+”:“+ findPORT[我]
IP_data.extend (findIP)
打印(得到页面,页面)
打印”刷新完成! ! !”
#使用多线程
mul_thread_check (url_target)
返回IP_data_checked
def check_one (url_check,我):
#获取锁
锁=threading.Lock ()
#设置超时
socket.setdefaulttimeout (8)
试一试:
购买力平价={“http”: IP_data[我]}
proxy_support=urllib2.ProxyHandler (ppp)
openercheck=urllib2.build_opener (proxy_support)
urllib2.install_opener (openercheck)
请求=urllib2.Request (url_check)
request.add_header(“用户代理”、“Mozilla/5.0 (Windows NT 10.0;WOW64)”)
html=urllib2.urlopen(请求).read ()
lock.acquire ()
print (IP_data[我],'就可以了')
#获取可用的ip指数
available_table.append(我)
lock.release ()
除了例外e:
lock.acquire ()
打印(错误的)
lock.release ()
def mul_thread_check (url_mul_check):
线程=[]
因为我在范围(len (IP_data)):
#创建线程…
线程=线程。线程(目标=check_one args=[url_mul_check,])
threads.append(线程)
thread.start ()
打印“新线程启动”,我
线程的线程:
thread.join ()
#获取IP_data_checked []
error_cnt的范围(len (available_table)):
aseemble_ip={“http”: IP_data [available_table [error_cnt]]}
IP_data_checked.append (aseemble_ip)
可用的代理ip:“打印”,len (available_table)
获取代理IP,从http://www.xicidaili.com/nn/网站获取,它是一个提供免费代理IP的网站,但是里面的IP不是全都能用,而且结合你的实际地理位置,网络情况,访问的目标服务器等情况,能用的大概不到20%,至少我的情况是这样。
访问http://www.xicidaili.com/nn/网站使用正常方式,返回的网页内容通过正则查询获得需要的IP和对应端口,代码如下:
patternIP=re.compile (r’(& # 63; & lt;=& lt; td>) (\ d) {1,3} \ \ [d]。{1,3} \ \ [d]。{1,3} \ \ [d]。{1,3}’)
patternPORT=re.compile (r’(& # 63; & lt;=& lt; td>) (\ d) {2、5} (& # 63;=& lt;/td>)”)
…
findIP=re.findall (patternIP str(内容)
findPORT=re.findall (patternPORT str(内容))
关于如何构造正则表达式,可以参考其他的文章:
获取的IP保存在findIP中,对应的端口在findPORT中,两者按索引对应,获取一页IP正常数量为100 .
接下来进行IP和端口拼接
最后进行可用性检查
本次访问url_check还是使用正常方式访问,当访问网页有返回时,则说明本代理IP可用,则记录下当前索引值,用于后面将所有可用IP取出。
本函数开启多线程检查代理IP可用性,每个IP开启一个线程进行检查。
本工程直接调用getIP(),并传入用于检查可用性的网址,即可返回一个列表,里面是经可用性检查的ip列表,格式为
[' ip1:端口1”、“ip2:端口2,....]
