闲来无事,突然看到关于Hadoop集群。以前也了解过,网上找过一些关于百度,谷歌等底层Hadoop集群的文档,可是面对很多陌生的技术,看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。而另一方面,MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代。
Hadoop支持三种启动集群模式,分别是单机模式,魏分布式模式,安全分布式模式。下面我做的测试是单机模式。
我用的是阿里云ECS主机免费试用版,,,,,,
<强> uname,——
<强> Linux iZ25wbw8q4uZ 3.13.0-32-generic # 57-Ubuntu SMP星期二2014年7月15日03:51:08 UTC x86_64 x86_64 x86_64 GNU/Linux
<强> 1,创建Hadoop户和群组
回车后会提示输入新的UNIX密码,这是新建用户Hadoop的密码输入回车即可。
,,,,如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
,,,,最后确认信息是否正确,如果没问题,输入Y,回车即可。
修改Hadoop为根权限
vim/etc/sudoers
修改添加Hadoop,所有=(所有):
2, <强>安装ssh支持服务,实现免密登录
查询ssh包支持,并创建ssh免密登录服务器
用到的命令:苏Hadoop,//切换用户
dpkg - l | grep openssh服务器,,//查询ssh支持包
服务,ssh开始,//启动ssh远程连接服务
ssh - keygen - t rsa,//生成ssh公/私钥密码文件
猫~/. ssh/id_rsa。酒吧在祝辞~/sh/authorized_keys,//拷贝公钥认证文件
ssh localhost,//本机ssh登录测试
<强> 3,安装JAVA环境
http://www.oracle.com/technetwork/java/javase/downloads/index.html
焦油zxvf jdk-8u51-linux-x64.tar。广州
mv jdk1.8.0_51//usr/local/src/jdk1.8
修改环境变量,
vim ~/.bashrc
<强> 4,安装Hadoop2.7.1 ,
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
焦油zxvf hadoop-2.7.1.tar。广州
, mv hadoop-2.7.1/usr/local/hadoop
乔恩- r hadoop。hadoop hadoop
chmod 774/usr/local/hadoop/
hadoop@iZ25wbw8q4uZ:/usr/地方/hadoop vim ~/美元。bashrc, (,,//修改hadoop用户环境变量,最下面添加
# hadoop变量开始
出口JAVA_HOME=/usr/地方/src/jdk1.8/
export HADOOP_INSTALL=/usr/地方/hadoop
出口路径=$路径:HADOOP_INSTALL美元/bin
出口路径=$路径:$ HADOOP_INSTALL/sbin
出口HADOOP_MAPRED_HOME=$ HADOOP_INSTALL
出口HADOOP_COMMON_HOME=$ HADOOP_INSTALL
出口HADOOP_HDFS_HOME=$ HADOOP_INSTALL
出口YARN_HOME=$ HADOOP_INSTALL
出口HADOOP_COMMON_LIB_NATIVE_DIR=$ HADOOP_INSTALL/lib/本机
出口HADOOP_OPTS=" -Djava.library。路径=$ HADOOP_INSTALL/lib "
# HADOOP变量结束
hadoop@iZ25wbw8q4uZ:/usr/地方/HADOOP vim/usr/local/hadoop/etc/hadoop/hadoop-env美元。sh,//修改handoop认证环境变量,最下面添加一行
