4003人阅读
Oozie（2）
使用的环境是：Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4
编译Oozie的命令：./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop.version=1.4.4 -Dhive.version=0.13.1 -Dpig.version=0.15.0
(突然发现，编译时没有指定Spark的版本)
经过艰难漫长的编译过程，最后得到了oozie-4.2.0-distro.tar.gz。
Oozie4.2 Server安装
所需环境：
Unix (tested in Linux and Mac OS X)
Java 1.6+
Hadoop(tested with 1.0.0 & 0.23.1)
ExtJS library (可选, 用于Oozie webconsole,本文档中使用)
mysql(可选，本文档中使用)
开始安装：
将编译好的oozie-4.2.0-distro.tar.gz解压到/opt下
1、修改环境变量
vim /etc/profile,加入OOZIE_HOME这个环境变量，并在PATH中加入$OOZIE_HOME/bin,保存退出，然后执行source &/etc/profile
2、修改/opt/oozie-4.2.0/conf下的&oozie-site.xml文件，在oozie-site.xml中增加以下配置信息：
&!--mysql作为元数据存放的数据库--&
&property&
&name&oozie.service.JPAService.jdbc.driver&/name&
&value&com.mysql.jdbc.Driver&/value&
&description&
JDBC driver class.
&/description&
&/property&
&property&
&name&oozie.service.JPAService.jdbc.url&/name&
&value&jdbc:mysql://192.168.127.11:3306/oozie&/value&
&description&
&/description&
&/property&
&property&
&name&oozie.service.JPAService.jdbc.username&/name&
&value&root&/value&
&description&
DB user name.
&/description&
&/property&
&property&
&name&oozie.service.JPAService.jdbc.password&/name&
&value&<span style="color:#cc&/value&
&description&
DB user password.
IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
if empty Configuration assumes it is NULL.
&/description&
&/property&
&!--设置Hadoop的配置文件的路径--&
&property&
&name&oozie.service.HadoopAccessorService.hadoop.configurations&/name&
&value&*=/opt/hadoop-2.6.0/etc/hadoop&/value&
&description&
Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of
the Hadoop service (JobTracker, YARN, HDFS). The wildcard '*' configuration is
used when there is no exact match for an authority. The HADOOP_CONF_DIR contains
the relevant Hadoop *-site.xml files. If the path is relative is looked within
the Oozie con though the path can be absolute (i.e. to point
to Hadoop client conf/ directories in the local filesystem.
&/description&
&/property&
&!--设置Spark的配置文件的路径--&
&property&
&name&oozie.service.SparkConfigurationService.spark.configurations&/name&
&value&*=/opt/spark-1.4.0-bin-hadoop2.6-hive/conf&/value&
&description&
Comma separated AUTHORITY=SPARK_CONF_DIR, where AUTHORITY is the HOST:PORT of
the ResourceManager of a YARN cluster. The wildcard '*' configuration is
used when there is no exact match for an authority. The SPARK_CONF_DIR contains
the relevant spark-defaults.conf properties file. If the path is relative is looked within
the Oozie con though the path can be absolute.
This is only used
when the Spark master is set to either &yarn-client& or &yarn-cluster&.
&/description&
&/property&
设置系统库存放在hdfs中，注意只有在job.properties中将设置oozie.use.system.libpath=true才会引用系统库
。注意，下面ns1是namenode的逻辑名称，根据自己集群的情况进行更改即可--&
&property&
&name&oozie.service.WorkflowAppService.system.libpath&/name&
&value&hdfs://ns1/user/${user.name}/share/lib&/value&
&description&
System library path to use for workflow applications.
This path is added to workflow application if their job properties sets
the property 'oozie.use.system.libpath' to true.
&/description&
&/property&
&3、在Hadoop配置文件的core-site.xml中增加如下配置信息。注意：修改完后，需要重启hadoop。
&property&
&name&hadoop.proxyuser.[OOZIE_SERVER_USER].hosts&/name&
&value&[OOZIE_SERVER_HOSTNAME]&/value&
&/property&
&property&
&name&hadoop.proxyuser.[OOZIE_SERVER_USER].groups&/name&
&value&[USER_GROUPS_THAT_ALLOW_IMPERSONATION]&/value&
&/property&
其中[OOZIE_SERVER_USER]是安装使用oozie server的用户
[OOZIE_SERVER_HOSTNAME]是安装oozie server的主机名
[USER_GROUPS_THAT_ALLOW_IMPERSONATION]是用户的所属组
以上汉字纯属个人见解，如有问题欢迎指正
&!-- OOZIE --&
&property&
&name&hadoop.proxyuser.root.hosts&/name&
&value&centos01&/value&
&/property&
&property&
&name&hadoop.proxyuser.root.groups&/name&
&value&root&/value&
&/property&
注意：在hadoop.proxyuser.root.groups的&#20540;改成*,也是可以运行的。
4、在/opt/oozie-4.2.0目录下创建一个libext目录，并在/opt/hadoop-2.6.0目录下使用以下命令将Hadoop下的所有jar包复制到libext目录中：find -name *.jar |xargs &-t -i cp {}
/opt/oozie-4.2.0/libext。注意：需要将libext中的hsqldb-2.0.0.jar删掉，否则会引起jar包冲突。
5、将下载好的以及mysql驱动包(例如：mysql-connector-java-5.1.35.jar)复制到libext目录下。
6、执行下面的命令,将ext2.2.0.zip、hadoop的相关jar包、以及mysql-connector-java-&版本&.jar、htrace-core-&版本&.jar、avro-&版本&.jar&打进新war包里：
bin/addtowar.sh -inputwar oozie.war& -outputwar oozie-server/webapps/oozie.war -hadoop 2.6.0 /opt/hadoop-2.6.0/ -extjs libext/ext-2.2.zip -jars /opt/oozie-4.2.0/libext/mysql-connector-java-5.1.35.jar:/opt/oozie-4.2.0/libext/htrace-core-3.0.4.jar:/opt/oozie-4.2.0/libext/avro-1.7.4.jar
1) htrace-core和avro这两个jar包不加的话，后面提交job时会出错！并且执行了上面这句后，就不能再执行bin/oozie-setup.sh
prepare-war 了，否则替换掉oozie-server/webapps/中已经生成的oozie.war。
2)在ubuntu上执行上面命令时遇到zip:Failed:Creating new Oozie WAR的问题。这是因为没有安装Zip导致的。装上即可。
7、如果还没有安装mysql，那么需要安装一个mysql。安装好后吗，在mysql数据库中创建名为oozie的数据库(注意：oozie-site.xml中有个配置项oozie.service.JPAService.create.db.schema，默认&#20540;为false，表示非自动创建数据库，所以我们需要自己创建oozie数据库)，并进行访问授权，然后在/opt/oozie-4.2.0/下执行：
bin/ooziedb.sh create -sqlfile oozie.sql -run
查看oozie数据库，如果产生了以下的表，就说明该步骤OK
<span style="font-size:14 color:#、安装oozie-sharelib。
<span style="font-size:14 color:#) 在oozie-4.2.0目录下有一个&oozie-sharelib-4.2.0.tar.gz。使用tar -zxvf oozie-sharelib-4.2.0.tar.gz将它解压。解压出后是一个share目录
<span style="font-size:14 color:#)进入到share/lib/sqoop中。将sqoop-1.4.6-hadoop100.jar去掉(我这边改成sqoop-1.4.6-hadoop100.jar.bak)
注意：之所以要将sqoop-1.4.6-hadoop100.jar去掉，是因为我发现，在不去掉的情况下，运行Sqoop的例子会报错。这个错误可能是sqoop-1.4.6-hadoop100和sqoop-1.4.4-hadoop200.jar中的类冲突导致的。去掉之后，就可以成功运行了。
3)将mysql-connector-java-5.1.35.jar复制到/opt/oozie-4.2.0/share/lib/sqoop目录中。如果没有这个jar，将不能从mysql将数据导入或导出。
<span style="font-size:14 color:#)将这个share上传到hdfs上：
hdfs dfs -put& /opt/oozie-4.2.0/share& /user/root
注意，与oozie-site.xml中的oozie.service.WorkflowAppService.system.libpath的&#20540;保持一致，所以必须放到/user/root这个目录下。
9、使用以下命令启动oozie服务：
bin/oozie-start.sh
这时在/opt/oozie-4.2.0/oozie-server/webapps目录下多了oozie这个目录。如果缺少jar包或者jar包冲突了可以对
/opt/oozie-4.2.0/oozie-server/webapps/oozie/WEB-INF/lib中的进行添加或删除jar包
10、使用以下命令验证服务是否启动成功，
oozie admin -oozie http://localhost:11000/oozie -status
如果是System model:Normal，表明启动成功，否则失败。
11、查看是否可以通过浏览器访问web页面：
http://192.168.127.11:11000/oozie/
12、在运行job之前，最好开启Hadoop的jobhistory。它可以帮助你查看job调度时产生的日志。启动命令：
mr-jobhistory-daemon.sh start historyserver
使用jps命令查看是否启动成功，如果出现了&JobHistoryServer进程，表示启动成功。
&(如果在第3步中hadoop还没有重启，需要重启下，否则后面的job可能会运行失败)
Oozie4.2 Client安装
Oozie server 安装中已经包括了Oozie client。如果想要在其他机子上也使用Oozie，那么只要在那些机子上安装Oozei的client即可。
所需环境：
Unix (tested in Linux and Mac OS X)
Java 1.6&#43;
1、Oozie4.2中有一个oozie-client-4.2.0.tar.gz,将它复制到需要安装oozie client的机子上
tar zxvf /data/insallers/oozie-client-4.2.0.tar.gz -C /opt
这时在/opt下有一个&oozie-client-4.2.0
3、添加环境变量：
注意：上面还可以添加一个环境变量，export OOZIE_URL=http://centos01:11000/oozie这样在后面的oozie job这个命令中就不需要加 -oozie了
<span style="color:#、然后可以直接使用oozie来操作了，例如：
可以使用oozie job -oozie http://centos01:11000/oozie -config /data/installers/examples/apps/sqoop/job.properties -run 这样的命令来操作了。
Oozie Examples
&1、在/opt/oozie-4.2.0下有一个oozie-examples.tar.gz 。将它进行解压，解压之后生成一个examples目录。在该目录的apps中有一些简单的例子：
&2、在运行这些例子之前，需要对这些例子进行一些修改，例如我们运行shell这个例子。
先来查看一下job.properties的内容：
这些例子中JobTracker
都是localhost:8021，NameNode 都是hdfs://localhost:8020 。这是hadoop1的端口。我们需要根据自己集群的情况，对它做相应的修改。我现在的hadoop集群是2.6.0版本的。并且NameNode和ResourceManager都是HA的。所以我的配置是：
注意：这里ns1 是hadoop中hdfs-site.xml中的dfs.nameservices。rm1,rm2是yarn-site.xml中的yarn.resourcemanager.ha.rm-ids(如下2图)。如果ResourceManager不采用HA，采用的是单点，那么将8021这个端口改成8032端口(yarn.resourcemanager.address)。例如：ResourceManager所在的主机名centos03，那么改成jobTracker=centos03:8032即可。
3、将examples这个文件上传到hdfs中的/user/${user.name} 中，我采用的是root这个用户，所以是/user/root
4、执行以下命令运行
oozie &job &-oozie &http://centos01:11000/oozie &-config &/data/installers/examples/apps/shell/job.properties &-run
注意：&-oozie 后面跟的是oozie server的地址，-config后面跟的是执行的脚本，除了在hdfs上要有一份examples，在本地也需要一份。这个命令中的/data/installers/examples/apps/shell/job.properties&是本地路径的job.properties，不是hdfs上的。
5、根据上面的job Id ，可以使用下列命令进行查看
&oozie job -oozie http://centos01:11000/oozie -info -oozie-root-W
6、根据上面的job Id ，可以使用下列命令进行日志
oozie job -oozie http://centos01:11000/oozie -log&-oozie-root-W
7、可以访问http://centos01:11000/oozie 查看提交的job的情况：
参考网站：
/oozie-share-lib-does-not-exist-error/#javaioFileNotFoundException_File_userusersharelib_does_not_exist
http://blog.csdn.net/teddeyang/article/details/
http://oozie.apache.org/docs/4.2.0/AG_Install.html
/content/cloudera/en/documentation/cdh4/v4-2-0/CDH4-Installation-Guide/cdh4ig_topic_17_6.html
/questions//sqoop-export-fail-through-oozie
以下主要是我在安装使用oozie时遇到的一些问题，如果按照上面的步骤安装使用，可能就不会出现下面的问题了，可以忽略不看！
1、关于addtower命令：
2、遇到过的问题：
1)编译时出现，解决方法：手动下载maven-clean-plugin插件的jar
2)编译时出现，解决方法：mvn dependency::tree
3)编译时出现，解决方法：手动下载依赖
4)安装时出现。解决方法：移除libext中的hsqldb-2.0.0.jar
5)&安装时出现，使用“bin/addtowar.sh -inputwar oozie.war &-outputwar oozie-server/webapps/oozie.war -hadoop 2.6.0
/opt/hadoop-2.6.0/ -extjs libext/ext-2.2.zip”命令替代“bin/oozie-setup.sh prepare-war”这个命令来解决。原因可能是后面的命令会将libext中杂七杂八的jar包放入到oozie-server/webapps/oozie/WEB-INF/lib/ 中，引起jar包冲突等问题。
6)有时出现无法启动或关闭oozie服务时，尝试将/opt/oozie-4.2.0/oozie-server/temp下的除了safeToDelete.tmp文件的其他文件删掉，即可(即只保留safeToDelete.tmp)。
7) oozie服务启动失败：
在/opt/oozie-4.2.0/logs中查看catalina.out这个日志，根据提示信息，应该是没有mysql驱动的原因。
将mysql驱动包复制到oozie-server/webapps/oozie/WEB-INF/lib/下：
cp libext/mysql-connector-java-5.1.35.jar &oozie-server/webapps/oozie/WEB-INF/lib/&
重新执行第9和第10步，现在oozie服务已经成功启动了：
8)、提交job时出现“Error：HTTP error code：500：Internal Server Error”的问题
发现在localhost..log这个日志文件中记录了这个错误：
解决方法：往oozie-server/webapps/oozie/WEB-INF/lib/ 中加入htrace-core-3.0.4.jar
9)、job执行完成后出现。解决方法：往oozie-server/webapps/oozie/WEB-INF/lib/ 中加入avro-1.7.4.jar
10)、执行sqoop相关jab后出现。解决方法：去掉share/lib/sqoop中的sqoop-1.4.6-hadoop100.jar
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：75094次
积分：1705
积分：1705
排名：第18302名
原创：80篇
转载：38篇
评论：19条
(1)(1)(3)(2)(3)(4)(1)(3)(7)(1)(3)(6)(5)(12)(8)(10)(39)(15)大数据：oozie4.0.1对hadoop2.2.0的编译修改
he current version of Oozie (4.0.0) doesn’t build correctly when
you try and target Hadoop 2.2. The Oozie team have a fix going into
release 4.0.1 (see&),
but until then you can hack the Maven files to get it working with
First download the 4.0.0 version from&,
and then unpackage it. Next run the following command to change the
Hadoop version being targeted:
oozie-4.0.0/
find . -name pom.xml |
xargs sed -ri 's/(2.2.0\-SNAPSHOT)/2.2.0/'
Now all you need to do is target the hadoop-2 profile in Maven and
you’ll be all set:
mvn -DskipTests=true -P
hadoop-2 clean package assembly:single
oozie，不是一般的麻烦！！！
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。Oozie4.0.1详细安装教程_服务器应用_Linux公社-Linux系统门户网站
你好，游客
Oozie4.0.1详细安装教程
来源：Linux社区&
作者：until_v
1、编译oozie& &
环境条件：Unix box (tested on Mac OS X and Linux)Java JDK 1.6+Maven 3.0.1+ 0.20.2+Pig 0.7+
JDK commands (java, javac) must be in the command path.& &
The Maven command (mvn) must be in the command path.
1.1、安装maven：将maven的源码包解压缩，将解压后的文件夹放置/opt/目录下，并将/opt/apache-maven-3.2.3/bin目录添加至用户的环境变量中
1.2、安装pig：将pigxx.tar.gz解压，将解压后的文件夹放在/opt/目录下，并将${PIG_HOME}/bin路径加入到用户的环境变量中& &
修改ooize根目录下的pom.xml文件：& &
//更改jdk为系统所用的版本，1.8版本的jdk编译会出错& &
&javaVersion&1.7&/javaVersion&& &
&targetJavaVersion&1.7&/targetJavaVersion&
//默认为2.3.0，改为2.5.0后，编译出错& &
&hadoop.version&2.3.0&/hadoop.version&
1.3、执行oozie-4.0.1.tar.gz解压后bin目录下的mkdistro脚本&
./mkdistro.sh -DskipTests
编译成功后，执行第二步
2、安装Oozie& &
2.1 将oozie-4.0.1目录下的distro/target目录下的oozie-4.0.1-distro.tar.gz解压至/usr/local/目录下，并将其重命名为oozie（个人喜好，也可不用重命名）
2.2、/usr/local/oozie/目录下，解压share，example，client三个tar包，如下：
oozie-client-4.0.1.tar.gz（oozie的客户端，可通过它提交工作流任务）、oozie-examples.tar.gz（oozie的工作流事例程序）、oozie-sharelib-4.0.1.tar.gz
2.3、在HDFS文件系统中创建一个/user/hu的目录（'hu'应改为oozie的使用者名称），并将oozie-sharelib-4.0.1.tar.gz解压后的share目录上传至HDFS中的/user/hu目录下；& &
hu@master:/usr/local/hadoop/bin$ hadoop fs -mkdir /user/hu& &
(创建/user/hu目录)& &
hu@master:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal /usr/local/oozie/share /user/hu& &
(将share目录上传至/user/hu目录)& &
hu@master:/usr/local/hadoop$ bin/hadoop dfs -ls /user/hu& &
(列出HDFS中/user/hu目录下的文件，看是否上传成功)
2.4、在/usr/local/oozie目录下创建libext目录，将oozie-4.0.1/hadooplibs/target/oozie-4.0.1-hadooplibs/oozie-4.0.1/hadooplibs/hadooplib-2.3.0.oozie-4.0.1目录下的所有tar包copy至新建的libext目录& &
cp hadooplib-2.3.0.oozie-4.0.1/* /usr/local/oozie/libext/
2.5、将mysql-connector-java-5.1.27.jar（应对应自己的mysql版本）和ext2.2.zip拷贝至/usr/local/oozie/lib和/usr/local/oozie/libext目录下& &
2.6、 将ext2.2.0和hadoop的jar包打进新war包里，否则会启动会失败。可以检查下/usr/local/oozie/oozie-server/webapps/有没有 oozie.war，来验证是否成功& &
在/usr/local/oozie/bin下执行命令（这将会把/usr/locao/oozie/libext目录下的jar包打包为一个war文件，该war文件存放在/usr/local/oozie/oozie-server/webapps目录下）：& &
./oozie-setup.sh prepare-war
2.7、设置环境变量& &
编辑/etc/profile文件，添加如下：& &
export OOZIE_HOME=/usr/local/oozie& &
export CATALINA_HOME=/usr/local/oozie/oozie-server& &
export PATH=${CATALINA_HOME}/bin:${OOZIE_HOME}/bin:$PATH& &
export OOZIE_URL=http://localhost:11000& &
export OOZIE_CONFIG=/usr/local/oozie/conf
2.8、修改/usr/local/oozie/conf/oozie-site.xml文件：修改如下
&property&& & & & &name&oozie.db.schema.name&/name&& & & & &value&oozie&/value&& & & & &description&& & & & & & Oozie DataBase Name& & & & &/description&& & &/property&& & &property&& & &
&name&oozie.service.JPAService.create.db.schema&/name&& & &
&value&false&/value&& & &
&description&& & &
&/description&&
&/property&& &
&property&& & & & &name&oozie.service.JPAService.jdbc.driver&/name&& & & & &value&com.mysql.jdbc.Driver&/value&& & & & &description&& & & & & & JDBC driver class.& & & & &/description&& & &/property&& & &property&& & & & &name&oozie.service.JPAService.jdbc.url&/name&& & & & &value&jdbc:mysql://localhost:3306/${oozie.db.schema.name}&/value&& & & & &description&& & & & & & JDBC URL.& & & &/description&& & &/property&& & & & &property&& & & & &name&oozie.service.JPAService.jdbc.username&/name&& & & & &value&oozie&/value&& & & & &description&& & & & & & DB user name.& & & & &/description&& & &/property&& & &property&& & & & &name&oozie.service.JPAService.jdbc.password&/name&& & & & &value&oozie&/value&& & & & &description&& & & & & & DB user password.& & & & & & IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,& & & & & & & & & & &
if empty Configuration assumes it is NULL.& & & & &/description&& & &/property&
2.9、配置mysql数据库，并生成oozie数据库脚本文件（将会在/usr/local/oozie/bin目录下生成oozie.sql文件）& &
mysql -u root -p& &
(进入mysql命令行)& &
（创建名称为oozie的数据库）& &
grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';& &
（设置oozie数据库的访问全选，创建用户名为oozie，密码为oozie的用户）& &
grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';& &
(设置oozie数据库的访问权限)& &
FLUSH PRIVILEGES;& &
在/usr/local/oozie/bin目录下执行以下命令：& &
./ooziedb.sh create -sqlfile oozie.sql& &
接着执行如下命令，执行oozie数据库脚本文件，这将在oozie数据库中生成与oozie相关的数据表& &
./oozie-setup.sh db create -run& -sqlfile /usr/local/oozie/bin/oozie.sql
2.10、修改hadoop安装目录下的core-site.xml文件，hu为用户名，hu为hu用户所在的组（修改完之后，需要重启hadoop）
&&property&& &
&name&hadoop.proxyuser.hu.hosts&/name&& &
&value&192.168.168.101&/value&（192.168.168.101应改为hadoop的主节点ip）& & &/property&& &
&property&& &
&name&hadoop.proxyuser.hu.groups&/name&& &
&value&hu&/value&& &
&/property&
2.11、修改/usr/local/oozie/conf/hadoop-conf/core-site.xml文件，添加如下：
&property&& &
&name&yarn.resourcemanager.address&/name&& & & &value&192.168.168.101:8032&/value&（应与hadoop的配置相同，同下）& & &
&/property&& &
&property&& & & &name&yarn.resourcemanager.scheduler.address&/name&& & &
&value&192.168.168.101:8030&/value&& &
&/property&
& 2.12、执行bin\oozie-start.sh，启动oozie
可以用如下命令，查看oozie的运行状态。正常的话，应该显示NORMAL& &
./oozie admin -oozie http://localhost:11000/oozie -status
如果启动还有错误可以查看/usr/local/oozie/logs/catalina.out 里面的错误日志
2.13、运行oozie的mapreduce示例程序& &
将实例程序上传至HDFS的/user/hu文件夹& &
bin/hadoop fs -copyFromLocal /usr/local/oozie/examples& /user/hu
修改/usr/local/oozie/examples/apps/map-reduce/job.properties文件（yarn中已经没有jobTracker，以下jobTracker填入yarn.resourcemanager.address的值，oozie.wf.application.path即HDFS中oozie示例程序的路径）& &
nameNode=hdfs://master:9000& &
jobTracker=master:8032& &
queueName=default& &
examplesRoot=examples
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce& &
outputDir=map-reduce
在/usr/local/oozie/oozie-client-4.0.1/bin中调用oozie脚本，执行工作流& &
./oozie job -oozie http://localhost:11000/oozie -config /usr/local/oozie/examples/apps/map-reduce/job.properties -run
注意：若此时报错：java.net.ConnectException: Connection refused，则表明oozie没有启动
指定Oozie Java节点的Hadoop属性
Hadoop平台上Oozie调度系统的安装配置
Oozie中运行mapreduce node-action时的常见异常解决方法
Oozie web-console 时间本地化
Hadoop Oozie学习笔记 使用Oozie,通过命令行运行example
Hadoop Oozie学习笔记 自定义安装和启动
更多Hadoop相关信息见 专题页面
本文永久更新链接地址：
相关资讯 & & &
& (11月19日)
& (11/15/:52)
& (06/24/:56)
& (11月19日)
& (11/15/:42)
& (04/18/:39)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款随笔 - 120&
文章 - 1&评论 - 0&trackbacks - 0
&修改hadoop core-site.xml，内容如下：
&property&
&name&hadoop.proxyuser.[USER].hosts&/name&
&value&*&/value&
&/property&
&property&
&name&hadoop.proxyuser.[USER].groups&/name&
&value&*&/value&
&/property&
其中，[USER]需要改为后面启动oozie tomcat的用户
不重启hadoop集群，而使配置生效
hdfs dfsadmin -refreshSuperUserGroupsConfiguration
yarn rmadmin -refreshSuperUserGroupsConfiguration
（由于是在bs035上部署oozie，所以把下面的压缩包拷贝到bs035上）
1） 取得压缩包:&oozie-4.1.0/distro/target/oozie-4.1.0-distro.tar.gz&2） 解压缩：&tar -zxf oozie-4.1.0-distro.tar.gz&
3）在oozie-4.2.0目录下新建libext目录，并把&ext-2.2.zip 拷贝到该目录下；&并拷贝hadoop相关jar包到该目录下&cp $HADOOP_HOME/share/hadoop/*/*.jar libext/&cp $HADOOP_HOME/share/hadoop/*/lib/*.jar libext/&把hadoop与tomcat冲突jar包去掉&mv servlet-api-2.5.jar servlet-api-2.5.jar.bak&mv jsp-api-2.1.jar jsp-api-2.1.jar.bak&mv jasper-compiler-5.5.23.jar jasper-compiler-5.5.23.jar.bak&mv jasper-runtime-5.5.23.jar jasper-runtime-5.5.23.jar.bak&拷贝mysql驱动到该目录下（使用mysql数据库，默认是derby）&scp mysql-connector-java-5.1.25-bin.jar node3:/usr/oozie/oozie-4.2.0/libext/
4）配置数据库连接，文件是conf/oozie-site.xml
&property&
&name&oozie.service.JPAService.create.db.schema&/name&
&value&true&/value&
&/property&
&property&
&name&oozie.service.JPAService.jdbc.driver&/name&
&value&com.mysql.jdbc.Driver&/value&
&/property&
&property&
&name&oozie.service.JPAService.jdbc.url&/name&
&value&jdbc:mysql://bs035.:3306/oozie?createDatabaseIfNotExist=true&/value&
&/property&
&property&
&name&oozie.service.JPAService.jdbc.username&/name&
&value&hive&/value&
&/property&
&property&
&name&oozie.service.JPAService.jdbc.password&/name&
&value&hive&/value&
&/property&
&property&
&name&oozie.service.HadoopAccessorService.hadoop.configurations&/name&
&value&*=/home/manual/module/hadoop-2.6.0-cdh5.4.0/etc/hadoop&/value&
&/property&
最后一个配置，是需要配置的，不然后面运行调度的时候，任务会报File /user/root/share/lib does not exist 的错误
5）启动前的初始化
a. 打war包&&&bin/oozie-setup.sh prepare-war
b. 初始化数据库&bin/ooziedb.sh create -sqlfile oozie.sql -run&c. 修改oozie-4.2.0/oozie-server/conf/server.xml文件，注释掉下面的记录&&!--&Listener className="org.apache.catalina.mbeans.ServerLifecycleListener" /&--&&d. 上传jar包&bin/oozie-setup.sh sharelib create -fs hdfs://bs035.:8020&-locallib oozie-sharelib-4.1.0-cdh5.4.0-yarn.tar.gz&
bin/oozie-setup.sh sharelib create -fs hdfs://bs035.:8020 -locallib oozie-sharelib-4.1.0-cdh5.4.0.tar.gz&
bin/oozied.sh start&
【转自】http://www./lib/view/open5.html
更进一步的介绍，见上述网站。
阅读(...) 评论()}