怎么使用Python读取几十万行文本数据

  介绍

小编给大家分享一下怎么使用Python读取几十万行文本数据,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获、下面让我们一起去了解一下吧!

Python的优点有哪些

1,简单易用,与C/c++、Java、c#等传统语言相比,Python对代码格式的要求没有那么严格;2,Python属于开源的,所有人都可以看到源代码,并且可以被移植在许多平台上使用;3,Python面向对象,能够支持面向过程编程,也支持面向对象编程;4,Python是一种解释性语言,Python写的程序不需要编译成二进制代码,可以直接从源代码运行程序;5,Python功能强大,拥有的模块众多,基本能够实现所有的常见功能。

我在使用Python读取几十万行的文件中的数据,并构造字典,列表等数据结构时,再访问字典,列表时,一般都会出现内存不够的问题,然后只能循环读取几百行或者一定数量的行数来循环操作。

keyword_list=[line.strip (), for  line 拷贝开放(“keywords.txt" & # 39; " # 39;))   # f1=开放(“part_wiki_vec.txt" & # 39; " # 39;)   f1=开放(“wiki_vectors.txt")   f2=开放(“result.txt" & # 39; w # 39;)   我=0   内容=f1.readlines ()   while  i<1150:   ,for  line 内容拷贝(300 *我:300 * (i + 1):   线才能=line.strip () .split (& # 39;, & # 39;)   if 才能行[0],拷贝keyword_list:   ,,wordvec=& # 39;, & # 39; . join()行   ,,print  wordvec   ,,f2.write (wordvec)   # print 才能行   ,+=1

我是这样读取的

应该还有很多好的方法,比如多线程等等。

怎么使用Python读取几十万行文本数据