Python中请求怎样获取网页

　　介绍

小编给大家分享一下Python中请求怎样获取网页,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获、下面让我们一起去了解一下吧!

Python有哪些常用库

Python常用的库:1. requesuts; 2. scrapy; 3.枕头;4.扭曲;5. numpy; 6. matplotlib; 7. pygama; 8。ipyhton等。

主要记录使用请求模块获取网页源码的方法

class 履带(对象): 　　,“““ 　　,采集类 　　,“““ 　　,def  __init__(自我,,base_url): 　　self._base_url 才能=base_url 　　时间=self._cookie 才能;没有 　　self._getCookie才能() 　　 　　,def  _getCookie(自我): 　　“才能”;“ 　　获才能取站点饼干 　　,,:返回: 　　“才能”;“ 　　尝试才能: 　　,,res =, requests.get (self._base_url) 　　,,res.raise_for_status () 　　,,#,TODO  response.cookies获取到的是一个cookiejar对象,需要使用requests.utils.dict_from_cookiejar来 　　,,#,TODO 将cookiejar对象转换为一个字典,这个字典后续使用的时候,在请求时直接传入就可以了, 　　,,#,如,requests.get (url,饼干=饼干) 　　,,self._cookie =, requests.utils.dict_from_cookiejar (res.cookies) 　　,,print  self._cookie 　　except 才能;Exception  as  e: 　　,,print  e 　　 　　,def  get_html_text(自我,,url,, * * kwargs): 　　“才能”;“ 　　爬才能取网页的通用代码框架 　　,,:param  url: 　　,,:param 方法: 　　:才能param  kwargs: 　　,,:返回: 　　“才能”;“ 　　尝试才能: 　　,,kwargs.setdefault(& # 39;饼干# 39;,,self._cookie) 　　,,res =, requests.get (url, * * kwargs) 　　,,#,TODO 若响应状态码不是200年,抛出,HTTPError 异常 　　,,res.raise_for_status () 　　,,res.encoding =res.apparent_encoding 　　,,#,print  requests.utils.dict_from_cookiejar (res.cookies) 　　,,return  res.text 　　except 才能;Exception  as  e: 　　,,print  traceback.print_exc () 　　,才能回归

以上是“Python中请求怎样获取网页”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!

Python中请求怎样获取网页