这篇文章主要介绍Python处理大数据时有哪些缺点,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
我很喜欢用Python,用Python处理数据是家常便饭,从事的工作涉及nlp,算法,推荐,数据挖掘,数据清洗、数据量级从几十k到几T
不等,我来说说吧
百万级别数据是小数据,Python处理起来不成问题,Python处理数据还是有些问题的。
Python处理大数据的劣势:
1. Python线程有吉尔,通俗说就是多线程的时候只能在一个核上跑,浪费了多核服务器。在一种常见的场景下是要命的:并发单元之间有巨
大的数据共享或者共用(例如大dict类型),多进程会导致内存吃紧,多线程则解决不了数据共享的问题,单独的写一个进程之间负责维护读
写这个数据不仅效率不高而且麻烦
2。python执行效率不高,在处理大数据的时候,效率不高,这是真的,pypy(一个jit的python解释器,可以理解成脚本语言加速执行的
东西)能够提高很大的速度,但是pypy不支持很多python经典的包,例如numpy(顺便给pypy做做广告,土豪可以捐赠一下pypy安康;
呼吁捐款)
3。绝大部分的大公司,用java处理大数据不管是环境也好,积累也好,都会好很多。
Python处理数据的优势(不是处理大数据):
综上所述:
1。python可以处理大数据
2。python处理大数据不一定是最优的选择
3。python和其他语言(公司主推的方式)并行使用是非常不错的选择
4。因为开发速度,你如果经常处理数据,而且喜欢linux终端,而且经常处理不大的数据(100一)下,最好还是学一下python。
以上是python处理大数据时有哪些缺点的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注行业资讯频道!
