介绍 python可以做什么 import MySQLdb.cursors
conn =, MySQLdb.connect(主机=& # 39;ip地址& # 39;,,用户=& # 39;用户名& # 39;,,passwd=& # 39;密码& # 39;,,db=& # 39;数据库名& # 39;,,=3306港
,大敌;charset=& # 39; use utf8 # 39;,, cursorclass =, MySQLdb.cursors.SSCursor)
时间=cur conn.cursor ()
cur.execute (“SELECT *,得到bigtable");
时间=row cur.fetchone ()
while row is not 没有:
do 一些=,,row cur.fetchone ()
cur.close ()
conn.close ()
小编给大家分享一下python读取几千万行的大表内存的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获、下面让我们一起去了解一下吧!
python是一种编程语言,内置了许多有效的工具,python几乎无所不能,该语言通俗易懂,容易入门,功能强大,在许多领域中都有广泛的应用,例如最热门的大数据分析,人工智能,网页开发等。
python导数据的时候,需要在一个大表上读取很大的结果集。
如果用传统的方法,python的内存会爆掉,传统的读取方式默认在内存里缓存下所有行然后再处理,内存容易溢出
<强>解决的方法:
1)使用SSCursor(流式游标),避免客户端占用大量内存。(这个光标实际上没有缓存下来任何数据,它不会读取所有所有到内存中,它的做法是从储存块中读取记录,并且一条一条返回给你。)
2)使用迭代器而不用fetchall,即省内存又能很快拿到数据。
<强>需要注意的是,
1,因为SSCursor是没有缓存的游标,结果集只要没取完,这个康涅狄格州是不能再处理别的sql,包括另外生成一个光标也不行的。
如果需要干别的,请另外再生成一个连接对象。
2,每次读取后处理数据要快,不能超过60年代,否则mysql将会断开这次连接,也可以修改设置NET_WRITE_TIMEOUT=xx来增加超时间隔。
以上是“python读取几千万行的大表内存的示例分析”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!
