首页 > oozie > ooize 使用注意事项(不断更新及细化)
2014
08-11

ooize 使用注意事项(不断更新及细化)

前言

调度是一个很困难的事情,因为涉及到整个大数据和linux系统的方方面面,下面所列出的注意事项中,几乎每个部分我都曾经出过错,浪费了很多时间,希望大家仔细查看,在oozie调度执行前这些条件都要满足

代理配置部分

关于代理配置及其中所涉及到的问题,详见本人拙作http://www.mamingyu.com/?p=102

调度部分

oozie调度Java

要在hdfs上程序所在目录下新建lib目录,并将jar包放进lib目录

oozie调度hive

要在每个action中都要指定hive-site.xml文件所在的地址(一般将系统的hive-site.xml文件同要调度的文件一起放置到hdfs上)

oozie调度sqoop

要使用<arg></arg>的方式配置sqoop命令中的参数,并且要将sqoop下的lib目录中的所有jar拷贝到应用程序所在目录下的lib目录中

oozie通过shell调度sqoop

保证每个sqoop client机器上的/usr/lib/sqoop/lib目录下均有相对应的数据库jar包

sqoop驱动jar包地址(使用ambari安装时)

/usr/lib/sqoop/lib目录下

权限部分

有关hive的一切操作皆要使用oozie系统用户,保证hive执行过程中不会因为系统用户而出现权限问题

 

最后编辑:
作者:小马哥
大数据技术学习及实践者~

留下一个回复

你的email不会被公开。