一、鼎晖是什么
鼎晖Cloudera’ 100%开源Hadoop分布,建立专门满足企业要求
即一个开源的分布式存储系统
二,cdh5包含了哪些软件和功能
首先hbase hadoop,动物园管理员这些是必不可少的
其次蜂巢,oozie, Map/Reduce也可以集成在其中
HBase是一个分布式的面,向列的开源数据库,该技术来源于常等人所撰写的谷歌论文“;Bigtable:一个结构化数据的分布式存储系统”;
hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储
管理员是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护,名字服务,分布式同步,组服务等
蜂巢是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行
Oozie是一种框架,它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中
MapReduce是一种编程模型,用于大规模数据集(大于1 tb)的并行运算。概念“地图(映射)”和“减少(化简)“,和他们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上
三,cdh5的安装
cdh5安装一般来讲通俗的方法就是登录官方网站http://www.cloudera.com/blog/2012/02/introducing-cdh5/
下载所需rpm包,根据官方文档,一路百胜安装,最后配置即可
这里我要介绍的是通过cloudera-manager来安装cdh5的安装过程
cloudera-manager也是apache基金会的产品,目前有免费版与商业版两种,免费版只支持50个节点,商业版不限制
当然一般情况50个节点也就够用了,这里我们用的就是cloudera-manager的免费版
官方下载地址:https://ccp.cloudera.com/display/SUPPORT/Downloads
1.安装环境
node1:192.168.1.124 centos6.2系统
node2:192.168.1.163 centos6.2系统
iptables关闭
selinux关闭
2.安装cloudera-manager
node1:
官方下载后会得到一个可执行文件cloudera-manager-installer。本
这里需要我们事先安装X Window System包组,原因很简单,图形化安装界面
这里安装时会自动百胜安装他所需要的包,大约有100多米,百胜安装,自动下载的,由于是外国的源,加上公司限速,天朝的种种策略等,经常会导致卡死不动,一天也安装不完的状况
我的安装方法是直接中断图形化界面的安装,就是直接杀死掉,这时候他需要导入的百胜源已经导入到我们的系统里了
根据百胜源里面的连接http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.0.4/
自己手动下载,如下包
下载完成后,使用yum本地安装
百胜localinstall——nogpgcheck *。rpm
百胜安装完成后,重新运行cloudera-manager-installer.bin完成安装(如果安装失败,提示已安装,则进入/usr/share/cmf目录中,删除掉uninstall-cloudera-manager.sh文件即可)
附1:两台主机都要装,只是一台运行图形化界面,作为控制台,另一台不用动,这里我是使用的node1节点作为控制台
附2:两台主机jdk也要实现安装好,否则也会自动下载安装,推荐用rpm包安装的jdk
3.安装cdh5
①。cloudera-manager安装完成后,会自动启动,可以通过netstat -tnlp发现启动了7182、7180等端口
通过网页连接http://192.168.1.124:7180进入cloudera-manager网络的管理入口,默认管理员用户管理,密码管理
登录之后会提示如下框,即是使用免费版还是商业版,我们选择免费使用
②。之后就是完全cloudera-manager控制台web界面的安装,很简单
