Python大数据分析神器Dask有什么用 - 行业资讯 - 肥雀云

这篇文章主要介绍Python大数据分析神器Dask有什么用，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

1、什么是Dask？

Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。

Dask是开源免费的。它是与其他社区项目（如Numpy，Pandas和Scikit-Learn）协调开发的。

官方：https://dask.org/

Dask支持Pandas的DataFrame和NumpyArray的数据结构，并且既可在本地计算机上运行，也可以扩展到在集群上运行。

基本上，只要编写一次代码，使用普通的Pythonic语法，就可在本地运行或部署到多节点集群上。这本身就是一个很牛逼的功能了，但这还不是最牛逼的。

我觉得Dask的最牛逼的功能是：它兼容大部分我们已经在用的工具，并且只需改动少量的代码，就可以利用自己笔记本电脑上已有的处理能力并行运行代码。而并行处理数据就意味着更少的执行时间，更少的等待时间和更多的分析时间。

下面这个就是Dask进行数据处理的大致流程。

2、Dask支持哪些现有工具？

这一点也是我比较看中的，因为Dask可以与Python数据处理和建模的库包兼容，沿用库包的API，这对于Python使用者来说学习成本是极低的。而像Hadoop、Spark这种大数据处理是有很高的学习门槛和时间成本的。

目前，Dask可支持pandas、Numpy、Sklearn、XGBoost、XArray、RAPIDS等等，光是这几项我觉得就足够用了，至少对于常用的数据处理、建模分析是完全覆盖得掉的。

3、Dask安装

可以使用 conda 或者 pip，或从源代码安装dask 。

conda install dask

因为dask有很多依赖，所以为了快速安装也可用下面代码，将安装运行Dask所需的最少依赖关系集。

conda install dask-core

再有就是通过源来安装。

git clone https://github.com/dask/dask.git
　　cd  dask
　　python  -m  pip  install 。

<强> 4,Dask如何使用?

<强> Numpy,熊猫

<代码> Dask 引入了3个并行集合,它们可以存储大于RAM的数据,这些集合有<代码> DataFrame ,<代码>袋,<代码> 阵列。这些集合类型中的每一个都能够使用在RAM和硬盘之间分区的数据,以及分布在群集中多个节点上的数据。

<代码> Dask> Numpy> Dask> 熊猫DataFrame> Dask DataFrame 开始,依此类推。

import dask.array as 哒　　时间=x da.random.uniform(低=0,,高=10,大?(10000,,10000),,,#,normal numpy 代码　　,,,,,,,,,,,,,,,,,,,,,块=(1000,,1000)),,#,break into chunks of size 1000 x1000 　　　　+=y x x.T 作用;x.mean(轴=0),,#,Use normal syntax for high level 算法　　　　#,DataFrames 　　import dask.dataframe as 弟弟　　时间=df dd.read_csv (& # 39; 2018 - * - * . csv # 39;,, parse_dates=& # 39;时间戳# 39;,,,#,normal Pandas 代码　　,,,,,,,,,,,,,,,,blocksize=64000000),, #, break text into 64 mb 块　　　　时间=s df.groupby(& # 39;名字# 39;).balance.mean (),, #, Use normal syntax for high level 算法　　　　#,Bags /列表　　import dask.bag as db 　　时间=b db.read_text (& # 39; * . json # 39;) . map (json.loads) 　　total =, (b.filter (lambda d:, d[& # 39;名字# 39;],==,& # 39;爱丽丝# 39;) 　　,,,,,,,,,. map (d: lambda d[& # 39;平衡# 39;]) 　　,,,,,,,,,.sum ())