python爬虫基础教程:请求库(二)代码实例

　　

　　

简单使用

　　 　　 　　进口的要求 　　“‘ 　　想要学习Python ? Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载! 　　“‘ 　　响应=requests.get (“https://www.baidu.com/? 　　#文本返回的是unicode的字符串,可能会出现乱码情况 　　#打印(response.text) 　　 　　#内容返回的是字节,需要解码 　　print (response.content.decode (utf - 8)) 　　 　　 　　#打印(response.url) # https://www.baidu.com/#打印(response.status_code) # 200 　　#打印(response.encoding) # iso - 8859 - 1 　　 　　

添加标题和params
　　

　　 　　 　　进口的要求 　　 　　params={ 　　“wd”:“python” 　　｝ 　　头={ 　　“用户代理”:“Mozilla/5.0 (Windows NT 6.1;Win64;AppleWebKit x64)/537.36 (KHTML,像壁虎)Chrome/64.0.3282.140 Safari/537.36” 　　｝ 　　 　　响应=requests.get (" https://www.baidu.com/s " params=params,标题=标题) 　　 　　#内容返回的是字节,需要解码 　　张开(‘baidu.html’,‘w’,编码=皍tf - 8”) f: 　　f.write (response.content.decode (utf - 8)) 　　之前 　　 　　

　　

爬去拉钩网职位信息

　　 　　 　　进口的要求 　　 　　url=" https://www.lagou.com/jobs/positionAjax.json& # 63;城市=% E5 % 8 c % 97% e4%ba % AC& needAddtionalResult=false” 　　 　　data=https://www.yisu.com/zixun/{“第一”:“真正的”, 　　“pn”: 1、 　　“kd”:“python” 　　｝ 　　 　　头={ 　　“用户代理”:“Mozilla/5.0 (Windows NT 6.1;Win64;x64) AppleWebKit/537.36 (KHTML,像壁虎)Chrome/64.0.3282.140 Safari 537.36”, 　　“推荐人”:“https://www.lagou.com/jobs/list_python& # 63;城市=% E5 % 8 c % 97% e4%ba % AC& cl=false& fromSearch=true& labelWords=, suginput=" 　　｝ 　　 　　响应=requests.post (url, data=https://www.yisu.com/zixun/data,标题=标题) 　　#打印(response.text) 　　打印(类型(response.text)) # <类'str '比; 　　print(类型(response.json ())) # & lt;类dict的祝辞 　　 　　print (response.json()) #获取为字典的形式 　　之前 　　 　　

　　 　　 　　进口的要求 　　 　　代理={“http”:“115.210.31.236.55:9000”} 　　 　　响应=requests.get (=" https://www.baidu.com/",代理代理) 　　 　　print (response.content.decode (utf - 8)) 　　之前 　　 　　

　　 　　 　　# _ * _编码:utf - 8 _ * _ 　　 　　进口的要求 　　 　　# 1。创建会话对象,可以保存Cookie值 　　ssion=requests.session () 　　 　　# 2。处理头 　　头={“用户代理”:“Mozilla/5.0 (Windows NT 6.1;Win64;x64) AppleWebKit/537.36 (KHTML,像壁虎)Chrome/60.0.3112.101 Safari/537.36 '} 　　 　　# 3。需要登录的用户名和密码 　　data=https://www.yisu.com/zixun/{“电子邮件”:“158 xxxxxxxx”,“密码”:“pythonxxxxxxx”} 　　 　　# 4。发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里 　　ssion.post (" http://www.renren.com/PLogin.do ", data=https://www.yisu.com/zixun/data) 　　 　　# 5。ssion包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面 　　响应=ssion.get (“http://zhibo.renren.com/news/108”) 　　 　　# 6。打印响应内容 　　打印(response.text) 　　, 　　之前 　　 　　

以上所述是小编给大家介绍的python爬虫基础教程:请求库(二)详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留的言,小编会及时回复大家的。在此也非常感谢大家对网站的支持!

python爬虫基础教程:请求库(二)代码实例