打开携程网,查询机票,如广州到成都。
这时网址为:http://flights.ctrip.com/booking/can -反恐组-天- 1. - html # 63; DDate1=2018-06-15
其中,表示广州,反恐组表示成都,日期“2018-06-15”就比较明显了。一般的爬虫,只有替换这几个值,就可以遍历了。但观察发现,有个链接可以看到当前网页的所有json格式的数据。如下
http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights& # 63; DCity1=可以;ACity1=CTU& SearchType=S& DDate1=2018-06-15(后面省略……)
同样可以看到城市和日期,该连接打开的是json文件,里面存储的就是当前页面的数据。显示如下,其中“fis”则是航班信息。
每一次爬取只要替换城市代码和日期即可,城市代码自己手动整理了一份:
城市={"叶”:“阿尔山”,“鲔”:“阿克苏”、“RHT”:“阿拉善右旗”、“AXF”:“阿拉善左旗”,“体”:“阿勒泰”、“NGQ”:“阿”里,“MFM”:“澳门”
“空气质量准则”:“安庆”,“艾瓦”:“安顺”,“AOG”:“鞍山”,“RLK”:“巴彦淖尔”,“AEB”:“百色”、“BAV”:“包头”,“BSD”:“保山”,“BHY”:“北海”,“毕加索”:“北京”
“DBC”:“白城”,“国家统计局”:“白山”,“BFJ”:“毕节”、“底保”:“博乐”、“CKG”:“重庆”、“BPX”:“昌都”,“这份报告”:“常德”、“CZX”:“常州”
“CHG”:“朝阳”、“反恐组”:“成都”、“JUH”:“池州”、“CIF”:“赤峰”、“SWA”:“潮州”、“CGQ”:“长春”、“CSX”:“长沙”、“CIH”:“长治”,“CDE”:“承德”
“CWJ”:“沧源”、“DAX指数”:“达州”、“DLU”:“大理”,“DLC”:“大连”、“DQA中“图:“大庆”、“DAT”:“大同”,“干玉米酒糟”:“丹东”、“DCY”:“稻城”,“机灵”:“东营”
“杀毒软件”:“敦煌”、“DAX指数”:“达县”,“烟囱”:“德宏”,“EJN”:“额济纳旗”、“DSN”:“鄂尔多斯”,“掺”:“恩施”,“话务量”:“二连浩特”,“不明原因发热”:“佛山”
“船”:“福州”、“FYJ”:“抚远”,“相邻”:“阜阳”、“KOW”:“赣州”,“眼前”:“格尔木”,“光宇”:“固原”,“gy”:“广元”,“可以”:“广州”、“KWE”:“贵阳”
“KWL”:“桂林”、“HRB”:“哈尔滨”,“人机界面”:“哈密”,“在野”:“海口”,“HLD”:“海拉尔”,“HDG”:“邯郸”、“HZG”:“汉”中,“HGH”:“杭州”、“HFE”:“合肥”
“HTN”:“和田”、“HEK”:“黑河”,“HET”:“呼和浩特”、“合”:“淮安”、“HJJ”:“怀化”,“公司”:“黄山”,“HUZ”:“惠州”、“JXA”:“鸡西”、“TNA”:“济南”
“JNG”:“济宁”,“JGD”:“加格达奇”、“JMU”:“佳木斯”,“JGN”:“嘉峪关”、“SWA”:“揭阳”,标准件“JIC”:“金昌”、“KNH”:“金门”、“JNZ”:“锦州”
“CYI”:“嘉义”,“JHG”:“景洪”、“JSJ”:“建三江”、“JJN”:“晋江”、“舵机”:“井冈山”,“JDZ”:“景德镇”,“九”:“九江”、“JZH”:“九寨沟”、“KHG”:“喀”什
“KJH”:“凯里”,“KGT”:“康定”、“KRY”:“克拉玛依”、“王者文化”:“库车”、“KRL”:“库尔勒”,“哈”:“昆明”,“LXA”:“拉萨”,“LHW”:“兰州”、“HZH”:“黎平”
“LJG”:“丽江”、“法学学士”:“荔波”、“来讲”:“连云港”,“将”:“六盘水”、“LFQ”:“临汾”、“LZY”:“林芝”,“LNJ”:“临沧”、“LYI”:“临沂”、“LZH”:“柳州”
“LZO”:“泸州”、“LYA”:“洛阳”、“LLV”:“吕梁”、“JMJ”:“澜沧”、“LCX”:“龙岩”、“NZH”:“满洲里”,“烟囱”:“芒市”、“MXZ”:“梅州”、“米格”:“绵阳”
“咸宁”:“漠河”,“目标”:“牡丹江”、“译者”:“马祖”、“KHN”:“南昌”、“NAO”:“南充”,“NKG”:“南京”、“运作NNG之前”:“南宁”,“NTG”:“南通”、“说明”:“南阳”
“NGB”:“宁波”、“NLH”:“宁蒗”、“PZI”:“攀枝花”、“符号”:“普洱”、“NDG”:“齐齐哈尔”,“JIQ”:“黔江”、“IQM”:“且末”、“BPE”:“秦皇岛”,“道”:“青岛”
“IQN”:“庆阳”,“想你”:“衢州”、“RKZ”:“日喀则”、“RIZ”:“日照”,“SYX”:“三亚”,“厦门”:“厦门”、“沙”:“上海”、“SZX”:“深圳”、“高压天然气”:“神农架”
“她”:“沈阳”、“SJW”:“石家庄”,“公布”:“塔城”、“HYN”:“台州”、“TYN”:“太原”,“YTY”:“泰州”,“电视”:“唐山”,“TCZ”:“腾冲”、“听”:“天津”
“公司”:“天水”、“TGO”:“通辽”,“十”:“铜仁”、“TLQ”:“吐鲁番”、“WXN”:“万州”、“WEH”:“威海”,“世界经济论坛”:“潍坊”、“WNZ”:“温州”、“WNH”:“文山”
“WUA”:“乌海”、“通过”:“乌兰浩特”、“URC”:“乌鲁木齐”、“WUX”:“无锡”,“WUZ”:“梧州”,“吴”:“武汉”、“本人”:“武夷山”,“新航”:“西安”、“XIC”:“西昌”
“XNN”:“西宁”,“JHG”:“西双版纳”,“自”:“锡林浩特”、“挖”:“香格里拉迪(庆)”,“XFN”:“襄阳”、“ACX”:“兴”义、“XUZ”:“徐州”,“香港”:“香港”
“YNT”:“烟台”,“羡慕”:“延安”、“YNJ”:“延吉”、“YNZ”:“盐城”、“YTY”:“扬州”、“摩门教”:“伊春”,“阴”:“伊宁”,“YBP”:“宜宾”、“YIH”:“宜昌”
“YIC”:“宜春”、“YIW”:“义乌”,“公司”:“银川”、“灌”:“永州”、“UYN”:“榆林”,“于”:“玉树”、“YCU”:“运城”、“查”:“湛江”、“DYG”:“张家界”
“ZQZ”:“张家口”,“YZY”:“张掖”、“扎-”:“昭通”、“CGO”:“郑州”、“ZHY”:“中卫”、“小企业”:“舟山”,“ZUH”:“珠海”,“京东商城”:“遵义(茅台)”,“ZYI”:“遵义(新舟)“}
