容易调度程序版本1.0.2
容易调度器1.0.2中是1. x系列中的第三个版本。此版本增加了调度开放接口,工人分组(指定任务运行的机器组),任务流程及服务监控以及对甲骨文,clickhouse等支持,具体如下:
新特性:
-
<李> [easyscheduler - 79]调度通过令牌方式对外开放接口,可以通过api进行操作李>
<李> [easyscheduler - 138]可以指定任务运行的机器(组)李>
<李> [easyscheduler - 139]任务流程监控及主人,工人,动物园管理员运行状态监控李>
<李> [easyscheduler - 140]工作流定义,增加流程超时报警李>
<李> [easyscheduler - 134]任务类型支持甲骨文,CLICKHOUSE,,状态"置疑"黑斑羚李>
<李> [easyscheduler - 136] Sql任务节点可以独立选取抄送邮件用户李>
<李> [easyscheduler - 141]用户管理——用户可以绑定队列,用户队列级别高于租户队列级别,如果用户队列为空,则寻找租户队列李>
增强:
-
<李> [easyscheduler - 154]租户编码允许纯数字或者下划线这种的编码李>
修复:
-
<李>
[easyscheduler - 135] Python任务可以指定Python版本
李> <李>[easyscheduler - 125]用户账号中手机号无法识别联通最新号166码开头
李> <李>[easyscheduler - 178]修复ProcessDao里细微的拼写错误
李> <李> [easyscheduler - 129]租户管理中,租户编码带下划线等特殊字符无法通过校验李>感谢:
最后但最重要的是,没有以下伙伴的贡献就没有新版本的诞生:
抱起,chubbyjiang、coreychen chgxtony, cmdares, datuzi, dingchao, fanguanqun,风清扬,gaojun416, googlechorme, hyperknob, hujiang75277381, huanzui, kinssun, ivivi727,吉米,jiangzhx, kevin5210, lidongdai, lshmouse, lenboo, lyf198972, lgcareer, lzy305, moranrr, millionfor, mazhong8808, programlief, qiaozhanwei, roy110, swxchappy, sherlock111, samz406, swxchappy, qq389401879, lzy305, vkingnew, William-GuoWei, woniulinux, yyl861, zhangxin1988, yangjiajun2014, yangqinlong, yangjiajun2014, zhzhenqin, zhangluck, zhanghaicheng1, zhuyizhizhi
以及微信群里众多的热心伙伴!在此非常感谢!
<人力资源/> <人力资源/>容易调度器介绍
%20
%201,背景
在多位技术小伙伴的努力下,经过近2年的研发迭代,内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源发布版本-%201.0.0。
相信做过数据处理的伙伴们对开源的调度系统如oozie,阿兹卡班,气流应该都不陌生,在使用这些调度系统中可能会有这样的体验:比如配置工作流任务不能可视化,任务的运行状态不能实时在线查看,
任务运行时不能暂停,不能支持参数传递,不能补数,不能多租户使用,调度系统不高可用等等问题所烦扰过.Easy调度器正是在这种背景下应运而生,其目标就是为使调度更加容易,更可以从其中文名“易调度”看出我们的初衷。
%202,设计特点
容易调度程序是一个分布式工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系所带来的各种问题。
其主要目标如下:
-
<李>以DAG图的方式将任务按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态李>
<李>支持丰富的任务类型:外壳,先生,火花,SQL%20(mysql、postgresql蜂巢,sparksql),%20Python,%20Sub_Process、程序等李>
<李>支持工作流定时调度,依赖调度,手动调度,手动暂停/停止/恢复,同时支持失败重试/告警,从指定节点恢复失败,杀死任务等操作李>
<李>支持工作流优先级,任务优先级及任务的故障转移及任务超时告警/失败李>
<李>支持工作流全局参数及节点自定义参数设置李>
<李>支持资源文件的在线上/下传载,管理等,支持在线文件创建,编辑李>
<李>支持任务日志在线查看及滚动,在线下载日志等李>
<李>实现集群哈,通过饲养员实现主集群和工人集群去中心化李>
<李>支持对<代码>%20代码>主/工人cpu负载、内存、cpu在线查看李>
<李>支持工作流运行历史树形/甘特图展示,支持任务状态统计,流程状态统计李>
<李>支持补数李>
<李>支持多租户李>
<李>支持国际化李