Python实现自动访问网页的例子

  

<强>我就废话不多说了,直接上代码吧!

        进口urllib.request   进口的要求   导入的时间   进口ssl   进口随机      def openUrl (ip,代理):   头={“用户代理”:代理}   代理={“http”: ip}   requests.get (“https://www.baidu.com”,标题=头=代理,代理核实=True)   ssl。_create_default_https_context=ssl._create_unverified_context   打印(“获得成功。”)      # IP池   # IP   # http://www.xicidaili.com/# https://www.kuaidaili.com/free/def randomIP ():   ip=random.choice ([‘120.78.78.141’,‘122.72.18.35’, ' 120.92.119.229 '])   返回的ip      #用户代理   # User-Agenthttp://www.useragentstring.com/pages/useragentstring.php   def randomUserAgent ():   UserAgent=random.choice ([' Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML,像壁虎)Chrome/41.0.2228.0 Safari/537.36”,   Mozilla/5.0(麦金塔电脑;Intel Mac OS X 10 _10_1) AppleWebKit/537.36 (KHTML,像壁虎)Chrome/41.0.2227.1 Safari/537.36”,   Mozilla/5.0 (X11;Linux x86_64) AppleWebKit/537.36 (KHTML,像壁虎)Chrome/41.0.2227.0 Safari 537.36 '])   返回UserAgent      if __name__==癬_main__”:   因为我在范围(10):   ip=randomIP ()   代理=randomUserAgent ()   openUrl (ip代理)   time . sleep (1)   之前      

  

模拟浏览器请求数据:

        进口套接字      #创建TCP链接   tcp_socket=socket.socket(插座。AF_INET socket.SOCK_STREAM)   # DNS解析和链接HTTP服务器   tcp_socket.connect ((" www.qq.com ", 80))      #编写请求头,发送HTTP请求报文   #请求行   request_line="/HTTP/1.1 \ r \ n”   #请求头,设置请求域名   request_header=" www.qq.com \ r \ n”   request_data=https://www.yisu.com/zixun/request_line + request_header + " \ r \ n "      #发送请求   tcp_socket.send (request_data.encode (“utf - 8”))   #接收响应报文,指定长度   response_data=https://www.yisu.com/zixun/tcp_socket.recv (4096)   #对响应报文进行解析——切割   response_str_data=response_data.decode (“utf - 8”)   打印(response_data)   # " \ r \ n \ r \ n "之后的数据就是响应体数据   指数=response_str_data.find (“\ r \ n \ r \ n”)   #切割出的数据就是文件数据   html_data=https://www.yisu.com/zixun/response_str_data[指数+ 4:]   #在当前路径下新建文件存储响应数据   张开(“索引。html”、“白平衡”)文件:   file.write (html_data.encode ())   #关闭套接字   tcp_socket.close ()   之前      

以上这篇Python实现自动访问网页的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。

Python实现自动访问网页的例子