多线程爬取都挺好链接并保存到mongodb - 行业资讯 - 肥雀云

　　<李>一个比较简单,python3多线程使用请求库爬取都挺好,并使用正则提取下载链接,保存到mongodb李　　　　

 <代码> # !/usr/bin/env python
　　# - * -编码:utf - 8 - *
　　”“”
　　@author:艾克赵
　　@file: doutinghao.py
　　@time:下午8:18
　　”“”
　　进口的要求
　　进口再保险
　　进口pymongo
　　从多处理导入池
　　
　　MONGO_URL=' localhost: 27017 '
　　MONGO_DB=' doutinghao '
　　MONGO_TABLE=' doutinghao '
　　客户=pymongo。MongoClient (MONGO_URL连接=False)
　　db=客户(MONGO_DB)
　　
　　def get_result (url):
　　响应=requests.get。text (url)
　　#打印(reponse.text)
　　模式=re.compile (' & lt; a href=" https://www.yisu.com/zixun/(ed2k。* ?)”\ srel。* ? title=?* ?。mp4)。* ?”。* ?祝辞’,re.S)
　　结果=re.findall(模式、响应)
　　如果结果:
　　我的结果:
　　url, name=我
　　收益率{
　　“名称”:名字,
　　“url”: url
　　}
　　
　　def save_to_mongo(结果):
　　如果db MONGO_TABLE .insert(结果):
　　打印(“存储到MongoDB成功”,结果)
　　还真
　　返回假
　　
　　def主要(结果):
　　#结果=get_result (url)
　　save_to_mongo(结果)
　　
　　if __name__==癬_main__”:
　　池=池()
　　url=" https://www.xl720.com/thunder/34283.html "
　　项=[项目项get_result (url)]
　　#打印(项)
　　池。地图(主要项目)
　　pool.close ()
　　pool.join ()