python爬取中json,泡菜与搁置库有什么用 - 行业资讯 - 肥雀云

　　介绍

小编给大家分享一下python爬取中json,泡菜与搁置库有什么用,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获、下面让我们一起去了解一下吧!

前言

在使用python进行网络编程或者爬取一些自己感兴趣的东西时,总避免不了进行一些数据传输,存取等问题,python的文件对象以及其他扩展库,已经解决了很多关于文本和二进制数据存取的问题,比如网页内容,图片和音视频等多媒体内容,但这些数据基本是最终的数据形态存储,有没有办法可以存储python本身的一些对象数据,后续在使用的时候,再直接加载为python对象即可,本文便讲解下常用的python对象数据存取,传输解决方案,即泡菜,搁置,json。

内容比较基础,也比较简单,但也是必须好好掌握的知识点,因为其潜在的应用场景太广

一、泡菜

泡菜库提供了一种将python对象(所有对象)本地化存储的解决方案,后续还可以从这些文件内重新加载,加载后又是python标准的对象数据,可以用python直接使用。

泡菜有以下特点:

<李>

可以存取所有类型python对象,并本地化到一个文件内

<李>

每个文件内只能存储一个python对象

<强> 1.1临时转换

可以将python对象临时转化为泡菜序列(存储在变量内而不是文件内),后续再进行加载使用。

import 困境　　一个=(1、2、3、4) 　　#以下将一个转化为泡菜序列　　p_a=pickle.dumps (a) 　　, 　　#以下将泡菜序列转化为Python对象=pickle.loads (p_a)

<强> 1.2永久化存取

可以将Python对象存储到本地文件内,方便下次取出继续使用。

import 困境　　一个=(1、2、3、4) 　　f=开放(& # 39;file.pkl& # 39;, & # 39; wb # 39;) 　　, 　　#以下将一个转化为泡菜序列并存储到本地文件　　p_a=pickle.dump (f) 　　, 　　f=开放(& # 39;file.pkl& # 39;, & # 39; rb # 39;) 　　#以下将存储在本地文件内的泡菜序列转化为Python对象　　一个=pickle.load (f) 　　, 　　f.close ()

以上,首先打开一个文件,注意,因为泡菜序列是二进制编码格式,所以文件模式需要有& # 39;b # 39;

然后将Python对象序列化并存储到本地文件

后续可通过加载该文件,将里面存储的数据重新加载为Python对象

二,搁置

搁置库相当于基于泡菜的优化,因为泡菜单文件只能存储单个Python对象,并且每次存取都需要使用转储和负载,比较繁琐,所以,该库主要做了以下优化:

<李>

创建了一个轻量级的键值对数据库,支持一个文件内存储多个Python对象

<李>

不需要每次都负载,对Python数据的存取,变成了标准的字典访问

以下是演示代码:

import 搁置　　db=shelve.open (& # 39; obj_db& # 39;) 　　class :… 　　一个=(1、2、3);b=dict (name=& # 39;丹尼斯# 39;);c=db(& # 39;一个# 39;]=db (& # 39; b # 39;]=b 　　db (& # 39; c # 39;]=c 　　, 　　db(& # 39;一个# 39;】　　db (& # 39; b # 39;】　　db (& # 39; c # 39;】　　, 　　db.close ()

以上代码,首先使用搁置的开放的方法创建一个数据库,可以指定db文件的存储地址

然后便可以像使用字典一样,用来在该键值对的db内存储Python对象(任何Python对象)

然后可像字典访问一样,重新取出之前已经存储的对象,最后,别忘了战术性关闭db

如果想遍历或内省某数据库内存量键值,该数据库也有键值()和()方法,也支持Python的迭代协议

所以,相较于泡菜来说,会方便和强大很多

三,json

json是进行网络数据传输应用最为广泛的数据格式,其可以将Python指定的一些数据对象转化为json字符串,便于进行存储和网络传输,并将该json序列化的字符串重新转变为Python对象。

大体过程为Python→json→Python,所以可以进行CS数据传输和通信。

以下为json和Python数据转换映射表:

JSONPythonobjectdictarrayliststringstrnumber (int) intnumber(真正的)floattrue falseTure, FalsenullNone

<强> 3.1临时转换

可以将Python对象临时转化为json字符串并赋值给某变量,待后续再对其转化为Python对象

一般用于网络传输,尤其是接口调用时数据传输。

import json 　　mylist=(1、2、3) 　　mydict={ 　　,& # 39;名字# 39;:丹尼斯　　} 　　#临时转换　　一个=json.dumps (mydict) 　　b=json.dumps (mylist) 　　#将json字符串重新转为Python对象　　mylist=json.loads (b) 　　mydict=json.loads (a)