【IT168评论】今天,大数据与人工智能已经非常普及。像Hadoop和火花这样的大数据平台,几乎已经成为业界最常见的,对大规模数据进行存储,处理和分析的平台。但许多组织,企业的数据科学团队,在面向AI的实际开发过程中,仍然不免要面临许多系统和平台层面的挑战。
英特尔在人工智能领域布局广泛,一直致力于提供全栈的技术解决方案,除了面向不同场景的硬件外,也通过不断完善软件生态来支撑AI产业发展。在此前举行的英特尔人工智能大会上,英特尔软件和服务事业部高级首席工程师,大数据技术全球首席技术官戴金权分享了两大软件“利器”——BigDL和分析动物园。
<强> 帮助用户构建统一的大数据分析与AI平台
据介绍,BigDL是一个由英特尔开发且开源的,基于Apache火花的开源分布式深度学习框架,它可以帮助用户直接在已有的Hadoop/火花集群上开发深度学习工作应用,无需特意将数据从大数据集群上拷贝到独立的深度学习集群上进行训练。也可在存储数据的同一个集群上使用深度学习来进行分析,重用现有的大数据工具(如火花工作流)构建大规模深度学习应用。
分析动物园可以说是BigDL一个扩充,它能够将不同的软件框架,如火花,TensorFlow, Keras等无缝集成到一个端到端的数据处理流水线中,分布式地运行在大规模集群上,并且对用户透明,帮助用户构建统一的大数据分析和AI平台。
