python爬虫中urllib库代理的设置方法

  介绍

这篇文章给大家分享的是有python爬关虫中urllib库代理的设置方法的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。

<强> <强> <强> <强>

<强>

得到urllib.error  import  URLError   得到urllib.request  import  ProxyHandler   得到urllib.request  import  build_opener   ,   #,通过ProxyHandler来设置代理服务器,参数为字典类型,键名为协议,键值为代理   时间=proxy_handler  ProxyHandler ({“http":“http://113.120.33.75:9999",,   ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,“https":“https://120.83.99.72:9999"})   ,   #,创建一个揭幕战对象,比openurl多了一个头   时间=opener  build_opener (proxy_handler)   试一试:   ,,,#,通过刀对象打开的url   ,,,response =, opener.open (“http://httpbin.org/get")   ,,,print (response.read () .decode (“utf-8"))   except  URLError  as  e:   打印(e.reason)

<强>

<强> <强>

<强>

{   “args"才能:,{},   “headers"才能:,{   ,,,“Accept":,“text/html, application/xhtml + xml, application/xml; q=0.9,图像/webp图像/apng */*; q=0.8,应用程序/signed-exchange; v=b3"   ,,,“Accept-Encoding":,“gzip、, deflate"   ,,,“Accept-Language",:,“,应用zh型;q=0.9“,   ,,,“Host":,“httpbin.org"   ,,,“Upgrade-Insecure-Requests":,“1”,   ,,,“User-Agent":,“Mozilla/5.0, (Windows  NT  6.1;, WOW64), AppleWebKit/537.36, (KHTML, like 壁虎),Chrome/74.0.3729.169  Safari/537.36“   ,,},   “origin"才能:,“113.120.33.75、,113.120.33.75"   “url"才能:,“https://httpbin.org/get"   }

感谢各位的阅读!关于python爬虫中urllib库代理的设置方法就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到吧!

python爬虫中urllib库代理的设置方法