简单了解Python读取大文件代码实例 - 行业资讯 - 肥雀云

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理
　　

<强>我第一种读取方式
　　

一行一行的读取,速度较慢
　　

　　　　　　def read_line(路径): 　　张开(路径、“r”编码=皍tf - 8”)作为输出信号: 　　行=fout.readline () 　　而行: 　　行=fout.readline () 　　打印(线) 　　　　

<强>二世第二种读取方式
　　

设置每次读取大小,从而完成多行快速读取
　　

　　　　　　def read_size(路径): 　　张开(路径、“r”编码=皍tf - 8”)作为输出信号: 　　而1: 　　缓冲=输出信号。阅读(8 * 1024 * 1024) 　　如果不是缓冲区: 　　打破　　打印(缓冲) 　　　　

<强>三世,第三种读取方式
　　

使出现用itertools模块,islice返回的是一个生成器,可以用格列表式化
　　

　　　　　　出现从itertools进口islice 　　def read_itertools(路径): 　　张开(路径、“r”编码=皍tf - 8”)作为输出信号: 　　list_gen=islice(输出端0 5)#两个参数分别表示开始行和结束行　　在list_gen线: 　　打印(线) 　　　　

完成　　

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。