========一.hadoop伪分布式=========& lt; code>
伪分布式环境配置
需要安装openjdk 和openjdk-devel软件包(用的是1.8.0版本)
| rpm -ql Java-openjdk-devel-1.8.0 grep /bin/javac的
vim /etc/profile
# Java
export JAVA_HOME=/usr/lib/jvm/java - 1.8.0 openjdk 1.8.0.151 b12.el6_9.x86_64——1.
类路径=?$ JAVA_HOME/jre/lib/rt.jar: $ JAVA_HOME/lib/dt.jar: $ JAVA_HOME/lib/tools.jar
export 路径=$路径:$ JAVA_HOME/bin
#蜂巢
export HIVE_HOME=/数据/hadoop/蜂巢=$ HIVE_HOME export 路径/bin: $路径
# hadoop
export , HADOOP_HOME=/数据/hadoop/hadoop-2.7.4
export 路径=$ HADOOP_HOME/bin: $路径
source /etc/profile
java - version
添加hadoop 用户,useradd -m hadoop -s /bin/bash
给予sudo权限,visudo 编辑配置文件的98行,在根这行下添加hadoop用户
root ,,,=(),,,,,,,
hadoop ,所有=(),,,,,,,
切换到hadoop 用户
然后设置远程登录
生成密钥对,
ssh-keygen -t rsa
cat id_rsa.pub 祝辞祝辞,authorized_keys ,
chmod 600,。/authorized_keys(注意权限设置)
& lt;/code>=========二。安装hadoop=========& lt; code>
wget http://114.242.101.2:808/hadoop/hadoop-2.7.4.tar.gz
tar xf hadoop-2.7.4.tar.gz -C /数据/hadoop
chown -R hadoop.hadoop /数据/hadoop/hadoop-2.7.4
& lt;/code>==========三。配置文件=============& lt; code>/数据/hadoop/hadoop-2.7.4/etc/hadoop/,路径下
hdfs-site.xml
core-site.xml
mapred-site.xml.template
hdfs-site.xml:这里面定义的是数据节点个数以块文件大小
core-site.xml:定义的hadoop的头机
mapred-site.xml.template:定义的是hadoop文件存放的调度方式
针对伪分布式三个配置文件如下(默认为空)
core-site.xml配置文件如下:
,,,& lt; property>
,,,,,,,& lt; name> hadoop.tmp.dir
,,,,,,,& lt; value>文件:/数据/hadoop/hadoop-2.7.4/tmp
,,,,,,,& lt; description> Abase for other temporary 目录。;/description>
,,,& lt;/property>
,,,& lt; property>
,,,,,,,& lt; name> fs.defaultFS
,,,,,,,& lt; value> hdfs://localhost: 9000 & lt;/value>
,,,& lt;/property>
,,,,
,,,,
,,,,
hdfs-site.xml配置文件如下:
,,,& lt; property>
,,,,,,,& lt; name> dfs.replication
,,,,,,,& lt; value> 1 & lt;/value>
,,,& lt;/property>
,,,& lt; property>
,,,,,,,& lt; name> dfs.namenode.name.dir
,,,,,,,& lt; value>文件:/数据/hadoop/hadoop-2.7.4/tmp/dfs/name
,,,& lt;/property>
,,,& lt; property>
,,,,,,,& lt; name> dfs.datanode.data.dir
,,,,,,,& lt; value>文件:/数据/hadoop/hadoop-2.7.4/tmp/dfs/data
,,,& lt;/property>
,,,,
,,,,
,
mapred-site.xml.template配置文件如下:
,,,& lt; property>
,,,,,,,& lt; name> mapreduce.framework.name
,,,,,,,& lt; value> yarn
,,,& lt;/property>
cd /数据/hadoop/hadoop-2.7.4/执行。/bin/hdfs namenode -format 进行格式化
。/sbin/start-dfs.sh
启动完成后,可以通过命令,jps 来判断是否成功启动
若成功启动则会列出如下进程:,“然后”、“DataNode”和SecondaryNameNode
vim ~/.bashrc 添加
export JAVA_HOME=/usr/lib/jvm/java - 1.8.0 openjdk 1.8.0.151 b12.el6_9.x86_64——1.
source ~/.bashrc 后重新启动
搭建完成
访问:http://192.168.0.12:50070
& lt;/code>
