Alluxio虚拟分布式存储系统是一个内存速度。Alluxio是一个开源的基于内存的分布式存储系统,现在成为开源社区中成长最快的大数据开源项目之一。
alluxio下载地址https://www.alluxio.org/download
2。在alluxio-site。属性中也添加动物园管理员的信息,并附上hdfs的路径
<代码> #猫alluxio-site.properties alluxio.worker.tieredstore.levels=2 alluxio.worker.tieredstore.level0.alias=MEM alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk alluxio.worker.tieredstore.level0.dirs.quota=1 gb alluxio.worker.tieredstore.level0.watermark.high.ratio=0.9 alluxio.worker.tieredstore.level0.watermark.low.ratio=0.7 alluxio.worker.tieredstore.level1.alias=硬盘 alluxio.worker.tieredstore.level1.dirs.path=/data1/alluxio-data alluxio.worker.tieredstore.level1.dirs.quota=500 gb alluxio.worker.tieredstore.level1.watermark.high.ratio=0.9 alluxio.worker.tieredstore.level1.watermark.low.ratio=0.7 ~ HA相关设置~ alluxio.zookeeper.enabled=true alluxio.zookeeper.address=192.168.101.72:2181 192.168.101.73:2181 192.168.101.74:2181 alluxio.master.journal.folder=hdfs://liangbeta/user/hadoop/alluxio/杂志 alluxio.worker.block.heartbeat.timeout.ms=300000 ~ ~ ~
3。配置文件中,涉及到hdfs的目录,需要创建一下
<代码> su - hdfs hdfs dfs mkdir - p/user/hadoop/alluxio/杂志 hdfs dfs乔恩alluxio: hadoop/user/hadoop/alluxio hdfs://liangbeta/user/hadoop/alluxio/杂志
4。设置一下/etc/profile
<代码>出口JAVA_HOME=/usr/地方/jvm/jdk1.7.0_75 出口HADOOP_HOME=/usr/地方/hadoop/hadoop-release 出口HADOOP_CONF_DIR=/usr/地方/hadoop/hadoop-release/etc/hadoop 出口ALLUXIO_HOME=/data1/alluxio-1.4.0 导出路径=$ HADOOP_HOME/sbin: $ HADOOP_HOME/bin: $ JAVA_HOME/bin: ALLUXIO_HOME/bin:美元路径
5。需要把hadoop的core-site.xml和hdfs-site。xml需要拷贝到alluxio参看下
<代码> - # ls/data1/alluxio-1.4.0/conf alluxio-env。sh alluxio-site。属性核心位点。xml hdfs-site。xml log4j。属性工人
6。对于新搭建的集群,需要对主人和工人进行格式才能启动服务。
格式化主
<代码>格式的主人alluxio格式
格式化工人
<代码>格式工人 alluxio formatWorker
7。给工人机器加上起工人服务的用户的免密sudo权限,不然在启动工人的时候需要输入alluxio的密码
在/etc/sudoers中添加如下内容
<代码> & lt; user_name>=(所有)NOPASSWD:所有 实际设置如下: alluxio所有=(所有)NOPASSWD:
8。这里要特别强调,由于安全需求,大数据环境,都是通过kerberos进行认证的,需要在KDC上创建alluxio用户,并生成keytab,拷贝到alluxio服务器上,创建定时任务,进行kinit
<代码> $ id uid=1100 (alluxio) gid=1091 (hadoop)组=1091 (hadoop) 美元crontab - l 0 * * * * kinit kt/etc/security/keytab/alluxio.keytab alluxio 美元中 票缓存:文件:/tmp/krb5cc_1100 默认主:alluxio@LIANG.COM 有效期满开始服务主体 12/26/17 18:00:01 12/27/17 18:00:01 krbtgt/LIANG.COM@LIANG.COM 更新直到12/26/17 18:00:01
9。启动主
<代码> sh alluxio-start。sh大师
-10。启动工人
<代码> sh alluxio-start。上海工人
-11。启动关闭代理
