HDFS原理及架构

　　

HDFS架构

　　

HDFS是一个主/从结构的服务,其中NameNode是主人,一般只在一台节点上启动;DataNode是奴隶,一般每台节点都会启动一个;DataNode不断地主动向NameNode发送心跳,汇报块信息等;为了对NameNode进行备份,还会有一个SecondaryNameNode HDFS原理及架构

　　

HDFS各类操作

　　
    　　<李>创建目录
    HDFS原理及架构”> <br/>客户端与namenode直接交互,在INode中创建目录节点,并将操作写入编辑日志中即可,全程不需要datanode参与。</李> 　　<李>删除文件<br/> <img src= 　　<李> SecNameNode备份
    hdfs的元数据保存在Inode对象中,但是namenode是一个单点的主人,如果数据都在内存则无法进行故障恢复。
    hdfs有一个检查点机制,会把某个时间点内存中的Inode持久化到fsimage文件中,同时对每个操作记录写入到编辑日志中。
    SecNameNode则负责把namenode上的fsimage和编辑日志合并。
    hdfs原理及架构”> <br/> 1, SecNN不断地获取神经网络上editlog的大小,如果太小则不做处理;<br/> 2,如果editlog较大,则SecNN通知NN发起一次检查点操作,<br/> 3,神经网络会产出一个新editlog的edit.new,此后对元数据的操作都写入到edit.new文件中,<br/> 4,而SecNN则通过http接口分别将神经网络上的fsimage editlog和拉取到SecNN节点上,并在内存中合并,并产出文件fsimage.ckpt; <br/> 5, SecNN再主动通知NN镜像已合并完成。<br/> 6, NN通过http接口拉取过来fsimage.ckpt并覆盖原来的fsimage,最后将edit.new改回编辑李</> 　　</ol> 　　<h2> HDFS公顷</h2> 　　https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/index.html <p> </p><h2 class=HDFS原理及架构