软件环境:VMware工作站11.0
: linux CentOS 6.7
hadoop-2.7.3 jdk-1.0.7_67
spark-2.1.0-bin-hadoop2.7/
安装虚拟机和jdk就不再此赘述。
直接讲解安装hadoop和火花的安装。
一。下载hadoop源码包。点击此处下载:,http://hadoop.apache.org/
,1 .下载后解压到指定的目录下。
,,焦油-zxvf hadoop-2.7.3.tar。广州,- c/usr/hadoop
,2.解压后进入目录,cd/usr/hadoop/hadoop-2.7.3
,3.修改配置文件:进入到cd/hadoop-2.7.3/etc/hadoop下需要修改几个配置文件
,,1比;cp 等/hadoop/hadoop-env.sh.template.hadoop-env.sh
,,,cp 等/hadoop/hdfs-site.xml。模板,hdfs-site.xml
,,cp 等才能/hadoop/核心位点。模板,core-site.xml
,,,cp等/hadoop/mapred-env.sh。模板,mapred-env.sh
,,,cp等/hadoop/mapred-site。模板,mapred-site.sh
,,cp等才能/hadoop/奴隶。模板,奴隶
,,,cp等/yarn-env.sh。模板,yarn-env.sh
,,,cp等/yarn-site.xml。模板yarn-site。xml
注意:一般修改系统配置文件时最好做一个备份或者复制后修改,就像这样的。
,hadoop-env。sh配置文件的内容
,
,
#,从而java implementation 用使用。
,,export JAVA_HOME=/opt/模块/jdk1.7.0_67/,这是需要修改为自己机器安装的jdk的位置。其他文件内容不需要修改。 ,
hdfs-site.xml
,,
& lt; property>
,,,,,,,& lt; name> dfs.replication
,,,,,,,& lt; value> 2 & lt;/value>
,,,,,,,& lt;/property>
,,,,,,,& lt; property>
,,,,,,,& lt; name> dfs.block.size
,,,,,,,& lt; value> 134217728 & lt;/value>
,,,,,,,& lt;/property>
,,,,,,,& lt; property>
,,,,,,,& lt; name> dfs.namenode.name.dir
,,,,,,,& lt; value>/home/hadoopdata/dfs/name
,,,,,,,& lt;/property>
,,,,,,,& lt; property>
,,,,,,,& lt; name> dfs.datanode.data.dir
,,,,,,,& lt; value>/home/hadoopdata/dfs/data
,,,,,,,& lt;/property>
,,,,,,,& lt; property>
,,,,,,,& lt; name> fs.checkpoint.dir
,,,,,,,& lt; value>/home/hadoopdata/检查点/dfs/cname
,,,,,,,& lt;/property>
,,,,,,,& lt; property>
,,,,,,,& lt; name> fs.checkpoint.edits.dir
,,,,,,,& lt; value>/home/hadoopdata/检查点/dfs/cname
,,,,,,,& lt;/property>
,,,,,,,& lt; property>
,,,,,,,,& lt; name> dfs.http.address
,,,,,,,& lt; value>主:50070 & lt;/value>
,,,,,,,,& lt;/property>
,,,,,,,,,& lt; property>
,,,,,,,,,,& lt; name> dfs.secondary.http.address
,,,,,,,,,,& lt; value> slave1:50090
,,,,,,,,,& lt;/property>
,,,,,,,,,,& lt; property>
,,,,,,,,,& lt; name> dfs.webhdfs.enabled
,,,,,,,& lt; value> true
,,,,,,,,,,& lt;/property>
,,,,,,,,,& lt; property>
,,,,,,,,,& lt; name> dfs.permissions
,,,,,,,,,& lt; value> true
,,,,,,,,,& lt;/property>
& lt;/configuration> , 3比;core-site.xml
,,
& lt; configuration>
,,,,& lt; property>
,,,,null
