1。工作流调度器的介绍
(1)为什么要使用工作流调度器?
? ?——一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序,蜂巢脚本等
? ?——各任务单元之间存在时间先后及前后依赖关系
? ?——为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行
(2)常见工作流调度器
? ?在hadoop领域,常见的工作流调度器有Oozie,阿兹卡班,层叠,Hamake等。
![阿兹卡班的部署以及简单使用“> </p>
<h4> (3) Oozie与阿兹卡班的对比</h4>
<p> ? ?目前企业中最流行的两种调度器是Oozie与阿兹卡班。总的来说ooize相阿兹卡班比是一个重量级的任务调度系统,功能全面,但配置使用也更复杂。如果可以不在意某些功能的缺失,轻量级调度阿兹卡班器是很不错的候选对象。<br/>二者的区别可以从以下的几个方面进行描述:<br/> ? <强>功能</强> <br/> ? ?两者均可以调度mapreduce,猪,java,脚本工作流任务两者均可以定时执行工作流任务<br/> ? <强>工作的定义</强> <br/> ? ?阿兹卡班使用属性文件定义工作流<br/> ? ?Oozie使用XML文件定义工作流<br/> ? <强>工作流传参</强> <br/> ? ?阿兹卡班支持直接传参,例如${输入}<br/> ? ?Oozie支持参数和EL表达式,例如$ {fs: dirSize (myInputDir)} strust2 (ONGL) <br/> ? <强>定时执行</强> <br/> ? ?阿兹卡班的定时执行任务是基于时间的<br/> ? ?Oozie的定时执行任务基于时间和输入数据<br/> ?<强>资源管理</强> <br/> ? ?阿兹卡班有较严格的权限控制,如用户对工作流进行读/写/执行等操作<br/> ? ?Oozie暂无严格的权限控制<br/> ?<>强工作流执行</强> <br/> ? ?阿兹卡班有两种运行模式,分别独自是服务器模式(执行人服务器和web服务器部署在同一台节点)和多服务器模式(执行人服务器和web服务器可以部署在不同节点)<br/> ? ?Oozie作为工作流服务器运行,支持多用户和多工作流<br/> ?<>强工作流管理</强> <br/> ? ?阿兹卡班支持浏览器以及ajax方式操作工作流<br/> ? ?Oozie支持命令行,HTTP REST, Java API,浏览器操作工作流</p>
<h3> 2。阿兹卡班安装部署</h3>
<p> ? ?阿兹卡班是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程.Azkaban定义了一种KV文件(属性)格式来建立任务之间的依赖关系,并提供一个易于使用的网络用户界面维护和跟踪你的工作流。<br/> <强>阿兹卡班的功能特点</强> </p>
<ul>
<李> Web用户界面李</>
<李>方便上传工作流李</>
<李>方便设置任务之间的关系李</>
<李>调度任务流李</>
<李>认证/授权李</>
<李>能够杀死并重新执行任务李</>
<李>模块化和可插拔的插件机制李</>
<李>工作流和任务的日志记录审计李</>
</ul>
<p> <强>阿兹卡班的实战安装</强>:<br/>安装包:<br/>阿兹卡班Web服务器:azkaban-web-server-2.5.0.tar。广州<br/>阿兹卡班Excutor执行服务器:azkaban-executor-server-2.5.0.tar。广州<br/>阿兹卡班初始化脚本文件:azkaban-sql-script-2.5.0.tar。广州<br/>下载地址:http://azkaban.github.io/downloads。html <br/>①解压安装包</p>
<pre> <代码> [root@hadoop03 ~] #焦油-zxvf azkaban-web-server-2.5.0.tar。广州- c应用程序/阿兹卡班
(root@hadoop03 ~) #焦油-zxvf azkaban-executor-server-2.5.0.tar。广州- c应用程序/阿兹卡班
(root@hadoop03 ~) #焦油-zxvf azkaban-sql-script-2.5.0.tar。广州- c应用程序/阿兹卡班/</代码> </pre>
<p>②安装阿兹卡班脚本导入</p>
<pre> <代码> [root@hadoop03 ~] #焦油-zxvf azkaban-sql-script-2.5.0.tar。广州- c应用程序/阿兹卡班
#进入MySQL执行脚本:
mysql>阿兹卡班创建数据库;查询好了,1行影响(0.01秒)
mysql>使用阿兹卡班;
数据库修改
mysql>源/home/hadoop/apps/azkaban/azkaban-script-2.5.0/create-all-sql-2.5.0.sql;</代码> </pre>
<p>③创建SSL配置</p>
<pre> <代码> #最好是在阿兹卡班目录下:
(root@hadoop03 ~) # keytool keystore keystore别名jetty -genkey -keyalg RSA </代码> </pre>
<p> #此命令执行之后会提示输入当前生成密钥存储库的密码及相应信息,输入密码请劳记,信息如下:<br/> <img src=](/zixun/d/file/hulianwang/2021-06-03/4e8fb29f78f0a4d16c22c8cad1767013.jpg )
阿兹卡班的部署以及简单使用
? ?——一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序,蜂巢脚本等
? ?——各任务单元之间存在时间先后及前后依赖关系
? ?——为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行
? ?在hadoop领域,常见的工作流调度器有Oozie,阿兹卡班,层叠,Hamake等。
阿兹卡班的部署以及简单使用
