python数据爬下来保存在什么地方?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
<强> python数据爬下来保存在本地强,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己写爬虫玩,可以用文件形式来保存数据。
#=utf - 8编码
进口urllib.request
进口再保险
进口操作系统
& # 39;& # 39;& # 39;
Urllib模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据
urlopen方法用来打开一个url
读方法用于读取Url上的数据
& # 39;& # 39;& # 39;
def getHtml (url):
页面=urllib.request.urlopen (url);
html=page.read ();
返回html;
def getImg (html):
imglist=re.findall (& # 39; img src=https://www.yisu.com/zixun/?http。* ?)”, html
返回imglist
html=getHtml (“https://www.zhihu.com/question/34378366”) .decode (“utf - 8”);
imagesUrl=getImg (html);
如果os.path.exists (“D:/图像放大”)==False:
os.mkdir (“D:/图像放大”);
数=0;
在imagesUrl url:
打印(url)
如果(url.find (“。”) !=1):
name=url (url.find (“。”, len (url) - 5):];
字节=urllib.request.urlopen (url);
f=开放(“D:/图像放大/? str(数)+名字,“世界银行”);
f.write (bytes.read ());
f.flush ();
f.close ();
计数+=1 经测试,基本功能还是可以实现的。花的较多的时间就是正则匹配哪里,因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。
看完上述内容,你们掌握python数据爬下来保存在什么地方的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注行业资讯频道,感谢各位的阅读!
