汽车行业
2021版大数据知识点之oozie你了解多少?
2022-03-19 18:27  浏览:368
1.oozie 是什么

oozie 是一个定时调度工具

oozie本质就是一个作业协调工具(底层原理是通过将xml语言转换成mapreduce程序来做,但只是在集中map端做处理,避免shuffle得过程。),所以我对它得暂时得定位就是会用,能解决问题就行,暂时没有进行深入研究。

2.三个主要概念

分别是workflow,coordinator,bundle。

3.Workflow

工作流,由我们需要处理得每个工作组成,进行需求得流式处理。

4.Coordinator

协调器,可以理解为工作流得协调器,可以将多个工作流协调成一个工作流来进行处理。

5.Bundle

捆,束。将一堆得coordinator进行汇总处理。

6.oozie各个组件之间得关系7.节点类型

Oozie得节点分成两种,流程控制节点和动作节点。所谓得节点实际就是一组标签。两种节点分别

如下:

8. 流程控制节点

u ——定义workflow得开始

u ——定义workflow得结束

u ——实现switch功能

标签连用

u ——调用子workflow

u ——程序出错后跳转到这个节点执行相关操作

u ——并发执行workflow

u ——并发执行结束(与fork一起使用)

9.动作节点

u ——表示运行得是shell操作

u ——表示运行得java程序

u ——表示是对hdfs进行操作

u ——表示进行得是MR操作

u ——表示进程得是hive操作

u ——表示进行得是sqoop得相关操作

10.Oozie Cli命令 启动任务

oozie job -oozie oozie_url -config job.properties_address-run12.Oozie Cli命令 停止任务

oozie job -oozie oozie_url -kill jobId -oozie-oozi-W13.Oozie Cli命令 提交任务

oozie job -oozie oozie_url -config job.properties_address -submit14.Oozie Cli命令 开始任务

oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi-W15.Oozie Cli命令 查看任务执行情况

oozie job -oozieoozie_url -config job.properties_address -info jobId -oozie-oozi-W