介绍
这篇文章将为大家详细讲解有关基于洋麻的大数据平台搭建是怎样的,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
同鼎晖部署类似,步骤分为洋麻的部署和黄芪丹参滴丸的部署,先以1台为例(内存的在6克,磁盘划分/至少40 g/数据/10 g),后续节点可以通过扩容方式加入集群
1,安装包准备
需要下载jdk-8u144-linux-x64.tar.gz, ambari-xx-centos7.tar.gz, HDP-xx-centos7-rpm.tar.gz, HDP-UTILS-xx-centos7.tar.gz到本地(rpm包非常大),链接:
2,主机准备。
修改虚拟机的网络设置,禁用SElinux,修改主机名,关闭防火墙,ssh免密,开启http服务,设置时钟同步;对于网络的要求的是:NAT模式下,所有主机在同网段,且能访问外网。修改IP、网关,DNS,
<节> <>之前vim /etc/sysconfig/network-scripts/ifcfg-ens33<代码>
,,,修改ifcfg-en33的dhcp自动分配修改为静态寻址,增加ip/掩码/网关配置;(网关不管怎么配,都不要配192.168.x.1,因为1号ip是VMnet8网卡的ip)
<>之前,,, ,, ,,类型=癊thernet" PROXY_METHOD=皀one" BROWSER_ONLY=皀o" BOOTPROTO=皊tatic" DEFROUTE=皔es" IPV4_FAILURE_FATAL=皀o" IPV6INIT=皔es" IPV6_AUTOCONF=皔es" IPV6_DEFROUTE=皔es" IPV6_FAILURE_FATAL=皀o" IPV6_ADDR_GEN_MODE=皊table-privacy" NAME=癳ns33" UUID=? ed941c2 - deb4 - 48 - ae - a76d - 838503 - c8683c"设备=癳ns33" ONBOOT=皔es" IPADDR=?92.168.242.111" GATWAY=?92.168.242.2"子网掩码=?55.255.255.0" DNS1=?92.168.242.2",,,,配置完成后通过服务网络重启重启网卡设置,依然无法连接外网(ping www.baidu.com),可以增加默认dns;
<节>route add default gw 192.168.242.2
<代码>
,,,其次,增加主机和主机名映射(/etc/主机),关闭防火墙,关闭SElinux,设置多主机免密,开启http服务,
<节>192.168.242.134 hadoop1
<代码>
<代码> , , 以前,<节> <> <代码> #关闭防火墙,centos7之前版本 <代码> systemctl禁用firewalld <代码> systemctl stopfirewalld <代码> #关闭防火墙,centos7之后版本 <代码> systemctl禁用firewalld。服务代码 <代码> #重启生效 <代码>, , ,
<代码>
<代码> # vi/etc/selinux/config <代码>禁用SELINUX= <代码> SELINUXTYPE=目标
,,主机免密的方法:
<>之前,,, ,, ,,主机A/B/C为例,设置免密登录的方法:①,每台机器上执行,ssh-keygen -t rsa 敲3次回车会在家目录/home/csap下生成隐藏的. ssh目录,首先需要给此目录赋权限700:,chmod 700年,. ssh;这个目录下有两个文件:id_rsa 私钥和id_rsa.pub 公钥;②,在此目录中创建,authorized_keys 文件并赋权:cd .sshtouch authorized_keyschmod 644年,authorized_keys③,以机器一个为例,执行以上操作后,如果不知道其他机器的密码,比如绑定4;把自己的,id_rsa.pub 公钥,以及其他两台机器的公钥粘贴到,authorized_keys文件中,然后把这个文件复制到其他2台机器即可。等于所有机器都有其他机器的公钥,即可完成ssh 免密登录;④,如果知道其他机器密码,可以直接执行这个把公钥写到其他机器的authorized_keys文件中:ssh-copy-id 小姐;~/. ssh/id_rsa . pub ? root@127.0.0.1,,,时钟同步(保证其他节点同洋麻主节点时钟一致):
<>之前,,, ,, ,,1,所有机器安装ntp : yum -y install ntp2,主节点配置时钟与自己同步:vim /etc/ntp.conf删除其他服务器,加入:server , 127.127.1.0 ,,,, #, local clockfudge ,, 127.127.1.0 stratum 103年,其他机器同步主节点的时间,vim /etc/ntp.conf,加入:server xxx.xxx.xxx.xx4,重启所有机器的国家结核控制规划服务systemctl restart ntpd或者service ntpd restartsystemctl status ntpd或者service ntpd status5,验证同步所有节点执行ntpq - p,左边出现*号表示同步成功。6,若不成功,/usr/sbin/ntpdate stdtime.gov.hkntpdate xxx.xxx.xxx.xxx手动同步时间
