这篇文章主要介绍了hdfs在hadoop中有什么用途,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
hdfs为海量的数据提供了存储,能提供高吞吐量的数据访问.HDFS有高容错性的特点,并且设计用来部署在低廉的(低成本)硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。
hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
hadoop实现了一个分布式文件系统(hadoop分布式文件系统),其中一个组件是hdfs。
hdfs有高容错性的特点,并且设计用来部署在低廉的(低成本)硬件上;而且它提供高吞吐量(高通量)来访问应用程序的数据,适合那些有着超大数据集(大数据集)的应用程序.HDFS放宽了(放松)POSIX的要求,可以以流的形式访问(流媒体访问)文件系统中的数据。
hadoop的框架最核心的设计就是:hdfs和MapReduce.HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。
<强> hdfs
对外部客户机而言,hdfs就像一个传统的分级文件系统。可以创建,删除,移动或重命名文件,等等。但是hdfs的架构是基于一组特定的节点构建的(参见图1),这是由它自身的特点决定的。这些节点包括NameNode(仅一个),它在hdfs内部提供元数据服务,DataNode,它为hdfs提供存储块。由于仅存在一个NameNode,因此这是hdfs 1。x版本的一个缺点(单点失败)。在Hadoop 2。x版本可以存在两个NameNode,解决了单节点故障问题。
存储在HDFS中的文件被分成块,然后将这些块复制到多个计算机中(DataNode)。这与传统的RAID架构大不相同。块的大小(1。x版本默认为64 mb, 2。x版本默认为128 mb)和复制的块数量在创建文件时由客户机决定.NameNode可以控制所有文件操作.HDFS内部的所有通信都基于标准的TCP/IP协议。
感谢你能够认真阅读完这篇文章,希望小编分享hdfs在hadoop中有什么用途内容对大家有帮助,同时也希望大家多多支持,关注行业资讯频道,遇到问题就找,详细的解决方法等着你来学习!
hdfs在hadoop中有什么用途
