环境准备#
支持平台#
GNU/Linux是产品开发和运行的平台。Hadoop已在有4000个节点的GNU/Linux主机组成的集群系统上得到验证。
Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持。
所需软件#
Linux和Windows所需软件包括:
JavaTM1.5。x,必须安装,建议选择太阳公司发行Java版的本。
ssh必须安装并且保证sshd一直运行,以便用Hadoop脚本管理远端Hadoop守护进程。
Windows下的附加软件需求
Cygwin -提供上述软件之外的壳支持。
安装步骤#
本文以Ubuntu为测试环境,鉴于配置测试环境,不做复杂用户拆分,先部署到当前用户下。
安装软件
如果你的集群尚未安装所需软件,你得首先安装它们。
更新apt-get源配置#
sudo 美元;apt-get 更新 安装Java环境#
本文环境使用jdk1.7
两种方式使用openjdk,直接用apt-get安装
sudo 美元;apt-get install -y openjdk-7-jdk export 美元;JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 或者通过甲骨文官网下载jdk,然后解压安装
http://www.oracle.com/technetwork/java/javase/archive - 139210. - html
然后设置JAVA_HOME
本文环境JAVA_HOME=/usr/地方/jdk
lrwxrwxrwx , 1, root , root ,,, 22, Jun 22, 10:20 jdk →,/usr/地方/jdk1.7.0_80/drwxr-xr-x , 8, uucp ,,, 143, 4096, Apr 11,, 2015, jdk1.7.0_80/ 环境变量可以配置到. bash_profile
配置ssh环境#
安装ssh服务及客户端
sudo 美元;apt-get install -y openssh服务器 启动ssh服务
sudo 美元;service ssh 开始 配置免登陆
ssh-keygen 美元;-t rsa -f ~/. ssh/id_rsa -P “cat 美元;~/. ssh/id_rsa.pub 祝辞祝辞,~/. ssh/authorized_keys chmod 美元;600年,~/sh/authorized_keys 免登陆测试
ssh 美元;localhost
从而authenticity of host “localhost (:: 1)”,可以't be established.ECDSA key fingerprint is SHA256:8PGiorJvZpfFOJkMax6qVaSG8KyRRNnVJGjhNqVqh/k.Are 你sure 你want 用continue connecting (是/否)?是的美元退出 安装Hadoop #
cd 美元/usr/当地sudo 美元;wget http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz sudo 美元;tar xzvf hadoop-2.6.4.tar.gz sudo 美元;ln -s hadoop-2.6.4.tar.gz Hadoop #修改目录权限,改成当前用户的所属sudo 美元;chown -R XXXXX , Hadoop * 配置#
配置伪分布式:
修改等/Hadoop/核心位点。xml
& lt; configuration>
,,,& lt; property>
,,,,,,,& lt; name> fs.defaultFS
,,,,,,,& lt; value> hdfs://localhost: 9000 & lt;/value>
,,,& lt;/property> & lt;/configuration> 等/hadoop/hdfs-site。xml
& lt; configuration>
,,,& lt; property>
,,,,,,,& lt; name> dfs.replication
,,,,,,,& lt; value> 1 & lt;/value>
,,,& lt;/property> & lt;/configuration> 启动hadoop #
,,,美元bin/hdfs namenode 格式
美元才能,sbin/start-dfs.sh , #查看进程
美元才能jps429 SecondaryNameNode172 NameNode1523 Jps286 DataNode Namenode web地址:,http://localhost: 50070/
可以执行命令测试一下
#,create input 文件,美元mkdir 输入
美元,echo “Hello 码头工人”,在输入/file2.txt
美元,echo “Hello Hadoop”,在输入/中号,create input directory 提醒HDFS美元,hadoop fs -mkdir -p 输入#,put input files 用HDFS美元,hdfs dfs -put 。//*输入,输入#,run wordcount美元,hadoop jar $ HADOOP_HOME/分享/Hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount input 输出#,print 从而input 文件,美元echo -e \ ninput 中:“美元,hdfs dfs -cat 输入/中
美元,echo -e “\ ninput file2.txt:“美元,hdfs dfs -cat 输入/file2.txt #, print 从而output of wordcount美元,echo -e “\ nwordcount 输出:”美元,hdfs dfs -cat 输出/部分- r - 00000
