小编给大家分享一下Python3爬虫中三种文本的存储方法,希望大家阅读完这篇文章后大所收获、下面让我们一起去探讨吧!
将数据保存到TXT文本的操作非常简单,而且TXT文本几乎兼容任何平台,但是这有个缺点,那就是不利于检索。所以如果对检索和数据结构要求不高,追求方便第一的话,可以采用TXT文本存储。本节中,我们就来看下如何利用Python保存TXT文本文件。
<强> 1。本节目标
本节中,我们要保存知乎上“发现”页面的“热门话题”部分,将其问题和答案统一保存成文本形式。
<强> 2。基本实例
首先,可以用请求将网页源代码获取下来,然后使用pyquery解析库解析,接下来将提取的标题,回答者,回答保存到文本,代码如下:
这里主要是为了演示文件保存的方式,因此请求异常处理部分在此省去。首先,用请求提取知乎的“发现”页面,然后将热门话题的问题,回答者,答案全文提取出来,然后利用Python提供的open()方法打开一个文本文件,获取一个文件操作对象,这里赋值为文件,接着利用文件对象的写()方法将提取的内容写入文件,最后调用关闭()方法将其关闭,这样抓取的内容即可成功写入文本中了。
运行程序,可以发现在本地生成了一个探索。txt文件,其内容如图5 - 1所示。
这样热门问答的内容就被保存成文本形式了。
这里开放()方法的第一个参数即要保存的目标文件名称,第二个参数为,代表以追加方式写入到文本。另外,我们还指定了文件的编码为utf - 8。最后,写入完成后,还需要调用关闭()方法来关闭文件对象。
<强> 3。打开方式
在刚才的实例中,开放()方法的第二个参数设置成了,这样在每次写入文本时不会清空源文件,而是在文件末尾写入新的内容,这是一种文件打开方式。关于文件的打开方式,其实还有其他几种,这里简要介绍一下。
r:以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
rb:以二进制只读方式打开一个文件。文件指针将会放在文件的开头。
r +:以读写方式打开一个文件。文件指针将会放在文件的开头。
rb +:以二进制读写方式打开一个文件。文件指针将会放在文件的开头。
w:以写入方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
斌:以二进制写入方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
w +:以读写方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
wb +:以二进制读写格式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
答:以追加方式打开一个文件。如果该文件已存在,文件指针将会放在文件结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,则创建新文件来写入。
ab:以二进制追加方式打开一个文件。如果该文件已存在,则文件指针将会放在文件结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,则创建新文件来写入。
+:以读写方式打开一个文件。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,则创建新文件来读写。
