介绍 def read_data (file_name):
,& # 39;& # 39;& # 39;
,file_name:文件地址
,& # 39;& # 39;& # 39;=,inputfile 开放(file_name, & # 39; rb # 39;), #可打开含有中文的地址=,,data pd.read_csv (inputfile,迭代器=True)
loop =, True=,chunkSize 1000, #一千行一块=,chunks []
,while 循环:
尝试才能:
,,chunk =, dcs.get_chunk (chunkSize)
,,chunks.append(块)
except 才能;抛出StopIteration:
,,loop =False
,才能打印(“Iteration is 停止!”)=,,data pd.concat(块,,ignore_index=True)
,#打印(train.head ())
,return 数据 python的五大特点是什么
今天就跟大家聊聊有关怎么在python中分块读取大数据,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
<>强如下所示:
python的五大特点:1。简单易学,开发程序时,专注的是解决问题,而不是搞明白语言本身。2。面向对象,与其他主要的语言如c++和Java相比,Python以一种非常强大又简单的方式实现面向对象编程。3。可移植性,Python程序无需修改就可以在各种平台上运行。4。解释性,Python语言写的程序不需要编译成二进制代码,可以直接从源代码运行程序。5。开源,Python是牙线(自由/开放源码软件)之一。
看完上述内容,你们对怎么在Python中分块读取大数据有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。
