引言:AlphaGo在2017年年初化身的主人,在弈城和野狐等平台上横扫中日韩围棋高手,取得连60胜,未尝败绩.AlphaGo背后神秘的推动力就是TensorFlow——谷歌于2015年11月开源的机器学习及深度学习框架只
TensorFlow在2015年年底一出现就受到了极大的关注,在一个月内获得了GitHub上超过一万颗星的关注,目前在所有的机器学习,深度学习项目中排名第一,甚至在所有的Python项目中也排名第一。本文将带我们简单了解下TensorFlow,并与其他主流深度学习框架进行了对比只
本文选自《TensorFlow实战》。TensorFlow
TensorFlow是相对高阶的机器学习库,用户可以方便地用它设计神经网络结构,而不必为了追求高效率的实现亲自写c++或CUDA代码。它和Theano一样都支持自动求导,用户不需要再通过反向传播求解梯度。其核心代码和咖啡一样是用c++编写的,使用c++简化了线上部署的复杂度,并让手机这种内存和CPU资源都紧张的设备可以运行复杂模型(Python则会比较消耗资源,并且执行效率不高)。除了核心代码的c++接口,TensorFlow还有官方的Python和Java去接口,是通过痛饮(简化包装器和接口生成器)实现的,这样用户就可以在一个硬件配置较好的机器中用Python进行实验,并在资源比较紧张的嵌入式环境或需要低延迟的环境中用c++部署模型.SWIG支持给C/c++代码提供各种语言的接口,因此其他脚本语言的接口未来也可以通过痛饮方便地添加。不过使Python时用有一个影响效率的问题是,每一个mini-batch要从Python中喂到网络中,这个过程在mini-batch的数据量很小或者运算时间很短的时,可能会带来影响比较大的延迟。现在TensorFlow还有非官方的茱莉亚,node . js, R的接口支持只
TensorFlow也有内置的TF.Learn和TF。苗条等上层组件可以帮助快速地设计新网络,并且兼容Scikit-learn估计接口,可以方便地实现评估、网格搜索,交叉验证等功能。同时TensorFlow不只局限于神经网络,其数据流式图支持非常自由的算法表达,当然也可以轻松实现深度学习以外的机器学习算法。事实上,只要可以将计算表示成计算图的形式,就可以使用TensorFlow。用户可以写内层循环代码控制计算图分支的计算,TensorFlow会自动将相关的分支转为子图并执行迭代运算.TensorFlow也可以将计算图中的各个节点分配到不同的设备执行,充分利用硬件资源。定义新的节点只需要写一个Python函数,如果没有对应的底层运算核,那么可能需要写c++或者CUDA代码实现运算操作只
在数据并行模式上,TensorFlow和参数服务器很像,但TensorFlow有独立的变量节点,不像其他框架有一个全局统一的参数服务器,因此参数同步更自由.TensorFlow和引发的核心都是一个数据计算的流式图,火花面向的是大规模的数据,支持SQL等操作,而TensorFlow主要面向内存足以装载模型参数的环境,这样可以最大化计算效率只
TensorFlow的另外一个重要特点是它灵活的移植性,可以将同一份代码几乎不经过修改就轻松地部署到有任意数量CPU或GPU的PC,服务器或者移动设备上。相比于Theano, TensorFlow还有一个优势就是它极快的编译速度,在定义新网络结构时,Theano通常需要长时间的编译,因此尝试新模型需要比较大的代价,而TensorFlow完全没有这个问题.TensorFlow还有功能强大的可视化组件TensorBoard,能可视化网络结构和训练过程,对于观察复杂的网络结构和监控长时间,大规模的训练很有帮助.TensorFlow针对生产环境高度优化,它产品级的高质量代码和设计都可以保证在生产环境中稳定运行,同时一旦TensorFlow广泛地被工业界使用,将产生良性循环,成为深度学习领域的事实标准只
除了支持常见的网络结构(卷积神经网络(卷积神经网络,CNN),循环神经网络Recurent神经网络(RNN))外,TensorFlow还支持深度强化学习乃至其他计算密集的科学计算(如偏微分方程求解等).TensorFlow此前不支持象征性的循环,需要使用Python循环而无法进行图编译优化,但最近新加入的XLA已经开始支持JIT和AOT,另外它使用用桶装的技巧也可以比较高效地实现循环神经网络.TensorFlow的一个薄弱地方可能在于计算图必须构建为静态图,这让很多计算变得难以实现,尤其是序列预测中经常使用的定向搜索只
TensorFlow的用户能够将训练好的模型方便地部署到多种硬件,操作系统平台上,支持Intel和AMD的CPU,通过CUDA支持NVIDIA的GPU(最近也开始通过OpenCL支持AMD的GPU,但没有CUDA成熟),支持Linux和Mac,最近在0.12版本中也开始尝试支持窗口。在工业生产环境中,硬件设备有些是最新款的,有些是用了几年的老机型,来源可能比较复杂,TensorFlow的异构性让它能够全面地支持各种硬件和操作系统。同时,其在CPU上的矩阵运算库使用了特征而不是巴拉斯库,能够基于臂架构编译和优化,因此在移动设备(Android和iOS)上表现得很好只TensorFlow与主流深度学习框架对比
