目录
主机列表
<李>基础环境
<李>集群主机基础配置
<李>配置国家结核控制规划服务
<李>配置MySQL服务器
<李>安装Cloudera Manager服务器和AgentServer
配置服务器端
<李>配置代理端
<李>安装鼎晖
配置并分配CDH5包裹包
<李>安装Hadoop集群及相关组件
<李>浏览鼎晖Web端相关布局
<李>安装卡夫卡组件
配置并分配卡夫卡包裹包
<李>集群内安装卡夫卡服务
<李>配置HDFS LZO压缩
配置并分配LZO包裹包
<李>HDFS相关LZO配置
<李>纱相关LZO配置
主机列表
|主机名CPU内存IP | | | |角色及服务| |:- - - - - - - | - - - - -:|:——:|:——|:——| | test1。局域网| 192.168.22.11 | 9 g | 4核| cm代理,Namenode,纱线| | test2。局域网| 192.168.22.12 | 9 g | 4核| cm代理,SecondNameode, HBase-Master | | test3。局域网| 192.168.22.13 | 9 g | 4核| cm代理,Datanode, zk-server, kafka-broker, regionserver | | test4。局域网| 192.168.22.14 | 9 g | 4核| cm代理,Datanode, zk-server, kafka-broker, regionserver | | test5。局域网| 192.168.22.15 | 9 g | 4核| cm代理,Datanode, zk-server, kafka-broker, regionserver | | test6。局域网| 192.168.22.16 | 9 g | 4核| cm服务器,mysql服务器|
基础环境
CentOS 6 x86_64
<李>jdk-8u101-linux-x64.rpm
<李>mysql - 5.6。李x
<李>NTPd=祝辞> <李>
确保,<代码>/,目录至少100 g以上
<李>SELinux关闭
<李>iPtables关闭
<李>禁用透明Hugepage压实
<李>设置vm。李swapiness为1
<李>国家结核控制规划服务开启,时间同步(不推荐用ntpdate)
配置国家结核控制规划服务
以下配置集群内<强>每台主机强均要做一次
' ' '
vim/etc/sysconfig/ntpdate SYNC_HWCLOCK=yes//打开硬件时钟同步保存ntpdate time.windows.com
//首次手动同步时钟,避免首次ntpd服务因时间偏差过大导致无法同步vim/etc/ntp.配置服务器time.windows.com喜欢//添加时间同步服务器ntpd服务开始,,chkconfig ntpd alt="CDH 5 安装教程，Kafka 安装，LZO 安装">默认登陆用户名密码为 admin admin同意相关条款
选择相关服务版本
该版本相关服务包及信息
添加集群主机
此处有
当前管理的主机(5)表示 Agent 端注册到 Server 端正常。 如果此处只有一个选项，即新主机，那么表示 Agent 注册不正常，请检查网络或服务是否正常。你亦可以选择通过指定主机名或IP的方式连接远程节点。
选择主机
选择集群安装的相关配套组件 parcel 包。
开始集群内节点的 parcel 包部署
此图最后的部署告警提示 cloudera-scm 用户未创建，确实是节点忘记创建，用户创建完毕后重新验证即可。
部署信息概览
安装 Hadoop 集群及相关组件
CDH 官方有已经打包好的配套匹配方案，也可以自行搭配组件
鼎晖5安装教程、卡夫卡安装,LZO安装
