首页 > oozie > oozie系列–简介
2014
08-04

oozie系列–简介

目的

通过对oozie的介绍让大家了解oozie,大部分内容在以后的章节中都会有更加深入的讲述,希望拙作能给大家带来些许帮助,限于个人能力原因,如发现错误敬请告知。

概述

oozie是hadoop的工作流调度系统,使用过jbpm工作流调度框架的话,应该很容易理解工作流的概念。

oozie本质

java写成的一个运行在web服务器软件之上的java程序,java是事实上的跨平台这句话自从从事大数据相关开发后理解更深刻了。

oozie在hadoop生态体系内的作用

调度整个系统,使整个大数据生态体系正常定时运行

oozie可调度动作类型

类似于jbpm是java的工作流调度框架可调度java动作,oozie是hadoop的工作流调度框架,而hadoop是一个生态体系,所以oozie可调度的动作类型也非常丰富,可调度的类型如下:

shell(有人说,可以调度shell就是能调度一切,深有体会,但有时候也有无奈,详见未来的拙作oozie系列之错误解决)

hdfs    java    ssh( schema 0.2以后不再支持)    hive    hbase    sqoop    email等等

对于以上各种动作的使用,会在以后的篇章中继续介绍,各个都捣蛋,都是血泪史呀……

oozie调度形式

oozie的所有调度都可以画成有向无环图(DAG详见百度百科:http://baike.baidu.com/view/6204968.htm?fr=aladdin)的形式,即:oozie不支持环形任务,所有的调度必须有开始和中点

oozie支持fork jion(并行执行) 和design(决策)等其他类型动作,以便于更好更高效的调度。

oozie本身的job类型

workflow  job

工作流job,调度一个基本动作,如java 动作

Coordinator job

协调job,可通过oozie内置函数实现coordinator job的定时运行,其内部可包含若干workflow job

Bundle job

批job,内部包含若干coordinator job

oozie webUI介绍

oozie系列--简介 - 光明宇宙站 - 1

oozie webUI各个部分的介绍

最后编辑:
作者:小马哥
大数据技术学习及实践者~

oozie系列–简介》有 1 条评论

  1. Karanveer 说:

    Pheeomnnal breakdown of the topic, you should write for me too!

留下一个回复

你的email不会被公开。