<>强如下所示:
1。pip安装请求
2。pip安装lxml
3。pip安装xlsxwriter
导入请求#想要爬必须引
从html lxml进口#这个是用于页面爬取
进口xlsxwriter #操作Excel表格库
工作簿=xlsxwriter.Workbook (E:/测试/test.xlsx) #新建的Excel表格文档路径
工作表=workbook.add_worksheet() #建立板,可以work.add_worksheet(“雇员”)来指定表名,但中文名会报UnicodeDecodeErro的错误
我=1,#作用于Excel表格第几行数与接口第几页
#写一个死循环让他一直爬取数据
而(真正的):
进口json #这里这么引入json是因为不这么引入当循环到第二次就会报没有引入json的错,所以循环引入了
#接口str (i)表示第几页一定要转为字符串格式,要不会报不是字符串的错
url=" https://www.amap.com/service/poiInfo& # 63; query_type=TQUERY&页大?20,pagenum=" + str (i) +”, qii=true& cluster_state=5, need_utd=true& utd_sceneid=1000, div=PC1000& addr_poi_merge=true& is_classify=true&缩放=14.81,=110000,城市geoobj=115.7 | 39.4 | 117.4 | 41.6,关键词=水果店”
#将饼干字符串组装为字典
cookies_str=" guid=f86f - 79 - f2 - 5 - b0b - 69 - a3;UM_distinctid=16386 a114ca143 - 16386 - d6ae4d5af8 - 16386 - 1 - fa400 - 16386 - a114ccb85;CNZZDATA1255626299=1778515027 - 1778515027 - 253年https % % 252 f % 252 fwww.baidu.com % 252 f % 7 c1527219534;cna=5 hwhex7lrkecaxl4l + 2 lmafu;研究小组=BGBg3rAqL6QOz5OkNN5wbxWiMm7ywUxc_zvQMtpxLHsO1QD_gnkUwzbHaf3V_vwL;_uab_collina=152697209566826431413694;关键=bfe31f4e0fb231d29e1d3ce951e2c780”
cookies_dict={}
在cookies_str.split饼干(“;”):
k、v=饼干。分割(“=?1)
cookies_dict [k.strip ()]=v.strip ()
通过
#其他请求头参数
头={
“用户代理”:“Mozilla/5.0 (Windows NT 6.1;WOW64;房车:Firefox 52.0)壁虎/20100101/52.0”
}
#让服务器认为你是通过浏览器访问页面
页面=requests.get (url=url,饼干=cookies_dict头=头);
#转json
json=json.loads (page.text);
#判断这个字段如果为未找到相关信息则跳出死循环
如果json(“数据”)(“lqii”) (“change_query_tip”)==拔凑业健八辍毕喙亟峁?
打破;
通过
#获取json长度用于添加Excel第几行
长度=len (json(“数据”)[' poi_list ']);
#循环json数据向Excel表格添加
指数,j列举(json(“数据”)[' poi_list ']):
worksheet.write(指数+(张)*长度,0,j [' disp_name '])
worksheet.write(指数+(张)*长度,1,j['电话'])
worksheet.write(指数+(张)*长度,2,j['地址'])
通过
我+=1
通过
workbook.close() #最后关闭Excel表格注意事项,当Excel表格正在打开的情况下会报没有关闭的错所以请关闭Excel再运行此程序
之前
以上这篇python请求爬取高德地图数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
