Linux下Hadoop 2.7.3如何安装搭建

这篇文章将为大家详细讲解有关Linux下Hadoop  2.7.3如何安装搭建,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

Linux Hadoop 2.7.3安装搭建

Hadoop实现了一个分布式文件系统(Hadoop分布式文件系统),简称HDFS。

HDFS有高容错性的特点,并且设计用来部署在低廉的(低成本)硬件上;而且它提供高吞吐量(高通量)来访问应用程序的数据,适合那些有着超大数据集(大数据集)的应用程序.HDFS放宽了(放松)POSIX的要求,可以以流的形式访问(流媒体访问)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

Hadoop解决哪些问题?

海量数据需要及时分析和处理

海量数据需要深入分析和挖掘

数据需要长期保存

海量数据存储的问题:

磁盘IO称为一种瓶颈,而非CPU资源

网络带宽是一种稀缺资源

硬件故障成为影响稳定的一大因素

安装流程

安装JAVA 1.8

下载:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8 -下载- 2133151. - html

JAVA环境安装配置/etc/profile:

export  JAVA_HOME=/usr/jdk/jdk1.8.0_112 　　export  JRE_HOME=/usr/jdk/jre jdk1.8.0_112/export  CLASSPATH=? $ JAVA_HOME/lib/dt.jar: $ JAVA_HOME/lib/tools.jar: JRE_HOME/lib:美元类路径中 　　export 路径=$ JAVA_HOME/bin: $路径

安装Hadoop2.7.3

下载:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

配置启动Hadoop

<强> 1,修改Hadoop 2.7.3/etc/Hadoop/hadoop-env。sh指定JAVA_HOME

#,从而java  implementation 用使用。 　　export  JAVA_HOME=/usr/lib/jvm/java - 1.8.0 openjdk 1.8.0.171 b10.el6_9——8.。x86_64

<强> 2,修改hdfs的配置文件

& lt; configuration> 　　,,,& lt; property> 　　,,,,,,,& lt; name> fs.defaultFS 　　,,,,,,,& lt; value> hdfs://0.0.0.0:9000 　　,,,& lt;/property> 　　,,,& lt; !——,指定hadoop运行时产生文件的存储路径,——比; 　　,,,& lt; property> 　　,,,,,,,& lt; name> hadoop.tmp.dir 　　,,,,,,,& lt; value>/tmp/hadoop 　　,,,& lt;/property> 　　& lt;/configuration>

<强> 3,启动

第一次启动得先格式化

/usr/hadoop/bin/hdfs  namenode 格式

启动hdfs

/usr/hadoop/sbin/start-dfs。sh

<>强用jps命令查看启动的Java进程

预览地址:http://127.0.0.1:50070 dfshealth。html

4,停止

/usr/Hadoop/sbin/stop-dfs。sh

关于“Linux下Hadoop  2.7.3如何安装搭建”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看的到。

Linux下Hadoop 2.7.3如何安装搭建