Table of Contents
Instale y configure Apache Oozie Workflow Scheduler para CDH 4.X en RHEL/CentOS 6/5
Oozie. es un programador de código abierto para Hadoop. simplifica el flujo de trabajo y la coordinación entre trabajos. Podemos definir la dependencia entre trabajos para datos de entrada y, por lo tanto, podemos automatizar la dependencia del trabajo utilizando el programador de ooze.
Instalar Oozie en Centos y RHEL
En este tutorial, he instalado Oozie. en mi nodo maestro (es decir, maestro como nombre de host y donde namenode/JT están instalados) sin embargo, en el sistema de producción oozie debe instalarse en un nodo Hadoop separado.
Las instrucciones de instalación se dividen en dos partes, lo llamamos A. y B.
- A.. Instalación de Oozie.
- B.. Configuración de Oozie.
Primero verifiquemos el nombre de host del sistema, usando el siguiente comando ‘ nombre de host. .
[[email protected]] # hostname master
Método A: Instalación de Oozie en RHEL/CentOS 6/5
Usamos el repositorio oficial de CDH del sitio de cloudera para instalar CDH4. Vaya a la sección de descarga oficial de CDH y descargue la versión CDH4 (es decir, 4.6. o también puede usar el siguiente comando wget. para descargar el repositorio e instalarlo.
En RHEL/CentOS 6 # wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm # yum–nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm # wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm # yum–nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm En RHEL/CentOS 5 # wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0. i386.rpm # yum–nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm # wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm # yum–nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm freestar.config.enabled_slots.push
Una vez que hayas agregado ed CDH en su sistema, puede usar el siguiente comando para instalar Oozie en el sistema.
[[email protected] ~] # yum install oozie
Ahora, instale el cliente oozie (el comando anterior debe cubrir la parte de instalación del cliente sin embargo, si no es así, intente el siguiente comando).
[[email protected] ~] # yum install oozie-client
Nota. La instalación anterior también configura el servicio oozie para que se ejecute al iniciar el sistema. ¡Buen trabajo! Hemos terminado con la primera parte de la instalación. Ahora pasemos a la segunda parte para configurar oozie.
Método B: Configuración de Oozie en RHEL/CentOS 6/5
Como oozie no lo hace interactuar directamente con Hadoop, no necesitamos ninguna configuración asignada aquí.
Precaución. configure todos los ajustes mientras oozie no se esté ejecutando, eso significa que debe seguir los pasos a continuación mientras El servicio de oozie no se está ejecutando.
Oozie tiene ‘ Derby. como predeterminado integrado en la base de datos, sin embargo, le recomendaría que use la base de datos Mysql. Entonces, instalemos la base de datos MySQL usando el siguiente artículo.
- Instale la base de datos MySQL en RHEL/CentOS 6/5
Una vez que haya terminado con la parte de instalación, luego avance para crear oozie DB y otorgue privilegios como se muestra a continuación.
[[email protected] ~] # mysql-uroot-p Ingrese la contraseña: Bienvenido al monitor MySQL. Los comandos terminan con; o \ g. Su identificación de conexión MySQL es la versión 3 del servidor: 5.5.38 MySQL Community Server (GPL) por Remi Copyright (c) 2000, 2014, Oracle y/o sus afiliados. Reservados todos los derechos. Oracle es una marca comercial registrada de Oracle Corporation y/o sus afiliadas. Otros nombres pueden ser marcas comerciales de sus respectivos propietarios. Escriba ‘ayuda’; o ‘\ h’ para obtener ayuda. Escriba ‘\ c’ para borrar la declaración de entrada actual. mysql> crear base de datos oozie; Consulta OK, 1 fila afectada (0.00 seg) mysql> otorgar todos los privilegios en oozie. * a ‘oozie’ @ ‘localhost’ identificado por ‘oozie’; Consulta OK, 0 filas afectadas (0.00 seg) mysql> otorgar todos los privilegios en oozie. * a ‘oozie’ @ ‘%’ identificado por ‘oozie’; Consulta OK, 0 filas afectadas ( 0.00 seg) mysql> salir Bye
A continuación, configure las propiedades de Oozie para MySQL. Abra el archivo “ oozie-site.xml. y edite las siguientes propiedades como se muestra.
[[email protected] ~] # cd/etc/oozie/conf [[email protected] conf] # vi oozie-site.xml
Ingrese las siguientes propiedades (simplemente reemplace master [my hostname. con su nombre de host. .
Descargue y agregue el JAR del controlador de conectividad MySQL JDBC. al directorio lib de Oozie. Para hacerlo, ejecute el siguiente comando en serie en la terminal.
[[email protected] oozie] # cd/tmp/[[email protected] tmp] # wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz [[email protected] tmp] # tar-zxf mysql-connector-java-5.1.31.tar.gz [[email protected] tmp ] # cd mysql-connector-java-5.1.31 [[email protected] mysql-connector-java-5.1.31] # cp mysql-connector-java-5.1.31-bin.jar/var/lib/oozie/
Cree el esquema de la base de datos de oozie ejecutando los siguientes comandos y tenga en cuenta que debe ejecutarse como usuario de oozie.
[[email protected] ~] # sudo-u oozie/usr/lib/oozie/bin/ooziedb.sh create-run Configuración de salida de muestra OOZIE_CONFIG =/etc/oozie/conf setting OOZIE_DATA =/var/lib/oozie setting OOZIE_LOG =/var/log/oozie setting OOZIE_CATALINA_HOME =/usr/lib/bigtop-tomcat setting CATALINA/_TM/PDIR/oozie setting CATALINA_PID =/var/run/oozie/oozie.pid setting CATALINA_BASE =/usr/lib/oozie/oozie-server-0.20 setting CATALINA_OPTS =-Xmx1024m set ting OOZIE_HTTPS_PORT = 11443 … DONE Oozie DB ha sido creado para Oozie versión ‘3.3.2-cdh4.7.0’ Los comandos SQL se han escrito en: /tmp/ooziedb-8250405588513665350.sql
Necesita descargar ExtJS lib. de Internet para habilitar la consola web de oozie. Vaya a la página oficial de CDH ExtJS y descargue las bibliotecas ExtJS. versión 2.2. o puede descargar el paquete usando el siguiente comando.
[[email protected] ~] # cd/tmp/[[email protected] tmp] # wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip [[email protected] tmp] # unzip ext-2.2.zip [[email protected ] tmp] # mv ext-2.2/var/lib/oozie/
Finalmente, inicie el servidor oozie, ejecutando los siguientes comandos.
[[email protected] tmp] # service oozie status not running. [[email protected] tmp] # service oozie start [[email protected] tmp] # service oozie status running [[email protected] tmp] # oozie admin-oozie http://localhost: 11000/oozie-status Modo del sistema: NORMAL
Abra la interfaz de usuario de oozie con su navegador favorito y señale su dirección IP. En este caso, mi IP es 192.168.1.129.
http://192.168.1.129:11000 
Oozie Dashoard
Ahora si ves esta interfaz de usuario. ¡¡Felicidades!! Ha configurado correctamente oozie.
Este procedimiento se ha probado con éxito en RHEL. CentOS 6/5. En mis próximos artículos, voy a compartir cómo configurar y programar trabajos de hadoop a través de oozie. Mantente conectado para obtener más información y no olvides comentar tus comentarios.
