介绍 python可以做什么 import numpy as np
import pandas as pd
时间=data_txt np.loadtxt (& # 39; datas_train.txt& # 39;)
时间=data_txtDF pd.DataFrame(写入data_txt)
data_txtDF.to_csv (& # 39; datas_train.csv& # 39;,指数=False) import numpy as np
import pandas as pd
时间=train_data pd.read_table (& # 39; big_data.txt& # 39;,迭代器=True,头=没有)
while 真正的:
,试一试:
时间=chunk 才能;train_data.get_chunk (5600000)
chunk.columns 才能=,(& # 39;user_id # 39; & # 39; spu_id& # 39;, & # 39; buy_or_not& # 39;, & # 39;日期# 39;】
chunk.to_csv才能(& # 39;big_data111.csv& # 39;,,模式=& # 39;一个# 39;,头=False, index =,无)
,except Exception as e:
打破才能
本文章向大家介绍使用python怎么把超大的txt文件转换为csv文件的基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
python是一种编程语言,内置了许多有效的工具,python几乎无所不能,该语言通俗易懂,容易入门,功能强大,在许多领域中都有广泛的应用,例如最热门的大数据分析,人工智能,网页开发等。
上述的datas_train.txt只有不到100 mb, 560 w行数据,三分钟之内转换完毕。
然后我换了一个5600 w行共1.2克的txt文本,用上述代码转换,电脑直接卡死了。
原因在于上述代码会把全部的三种加载进内存,然后再转换,这就会造成电脑内存耗尽。
<>强然后就想到了切割数据的办法,具体实现如下:
以上就是小编为大家带来的使用python怎么把超大的txt文件转换为csv文件的全部内容了,希望大家多多支持!
