<强>我就废话不多说了,直接上代码吧! 强>
进口urllib.request 进口的要求 导入的时间 进口ssl 进口随机 def openUrl (ip,代理): 头={“用户代理”:代理} 代理={“http”: ip} requests.get (“https://www.baidu.com”,标题=头=代理,代理核实=True) ssl。_create_default_https_context=ssl._create_unverified_context 打印(“获得成功。”) # IP池 # IP # http://www.xicidaili.com/# https://www.kuaidaili.com/free/def randomIP (): ip=random.choice ([‘120.78.78.141’,‘122.72.18.35’, ' 120.92.119.229 ']) 返回的ip #用户代理 # User-Agenthttp://www.useragentstring.com/pages/useragentstring.php def randomUserAgent (): UserAgent=random.choice ([' Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML,像壁虎)Chrome/41.0.2228.0 Safari/537.36”, Mozilla/5.0(麦金塔电脑;Intel Mac OS X 10 _10_1) AppleWebKit/537.36 (KHTML,像壁虎)Chrome/41.0.2227.1 Safari/537.36”, Mozilla/5.0 (X11;Linux x86_64) AppleWebKit/537.36 (KHTML,像壁虎)Chrome/41.0.2227.0 Safari 537.36 ']) 返回UserAgent if __name__==癬_main__”: 因为我在范围(10): ip=randomIP () 代理=randomUserAgent () openUrl (ip代理) time . sleep (1) >之前
模拟浏览器请求数据:
进口套接字 #创建TCP链接 tcp_socket=socket.socket(插座。AF_INET socket.SOCK_STREAM) # DNS解析和链接HTTP服务器 tcp_socket.connect ((" www.qq.com ", 80)) #编写请求头,发送HTTP请求报文 #请求行 request_line="/HTTP/1.1 \ r \ n” #请求头,设置请求域名 request_header=" www.qq.com \ r \ n” request_data=https://www.yisu.com/zixun/request_line + request_header + " \ r \ n " #发送请求 tcp_socket.send (request_data.encode (“utf - 8”)) #接收响应报文,指定长度 response_data=https://www.yisu.com/zixun/tcp_socket.recv (4096) #对响应报文进行解析——切割 response_str_data=response_data.decode (“utf - 8”) 打印(response_data) # " \ r \ n \ r \ n "之后的数据就是响应体数据 指数=response_str_data.find (“\ r \ n \ r \ n”) #切割出的数据就是文件数据 html_data=https://www.yisu.com/zixun/response_str_data[指数+ 4:] #在当前路径下新建文件存储响应数据 张开(“索引。html”、“白平衡”)文件: file.write (html_data.encode ()) #关闭套接字 tcp_socket.close () >之前以上这篇Python实现自动访问网页的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
Python实现自动访问网页的例子