Table of Contents
Cómo instalar y configurar Apache Hadoop en un solo nodo en CentOS 7
Apache Hadoop. es un marco de trabajo de código abierto creado para el almacenamiento distribuido de Big Data y el procesamiento de datos en clústeres de computadoras. El proyecto se basa en los siguientes componentes:
- Hadoop Common. contiene las bibliotecas y utilidades de Java que necesitan otros módulos de Hadoop.
- HDFS. Sistema de archivos distribuido Hadoop-Un sistema de archivos escalable basado en Java distribuido en múltiples nodos.
- MapReduce. Marco YARN para procesamiento paralelo de big data.
- Hadoop YARN. un marco para la gestión de recursos del clúster.
Instalar Hadoop en Ce ntOS 7
Este artículo lo guiará sobre cómo instalar Apache Hadoop en un clúster de un solo nodo en CentOS 7. (también funciona para RHEL 7. y Fedora 23+. versiones). Este tipo de configuración también se denomina Modo pseudodistribuido de Hadoop.
Paso 1: Instale Java en CentOS 7
1.. Antes de continuar con la instalación de Java, primero inicie sesión con un usuario root o un usuario con privilegios de root, configure el nombre de host de su máquina con el siguiente comando.
# hostnamectl set-hostname master 
Establecer nombre de host en CentOS 7
Además, agregue un nuevo registro en el archivo de hosts con el FQDN de su propia máquina para apuntar a la IP de su sistema Dirección.
# vi/etc/hosts
Anuncio d la siguiente línea:
192.168.1.41 master.hadoop.lan 
Establecer el nombre de host en el archivo/etc/hosts freestar.config.enabled_slots.push
Reemplace el nombre de host anterior y los registros su propia configuración.
2.. A continuación, vaya a la página de descarga de Oracle Java y obtenga la última versión del Java SE Development Kit 8. en su sistema con el ayuda del comando curl.
# curl-LO-H “Cookie: oraclelic ense = accept-securebackup-cookie ““ http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm ” 
Descargar Java SE Kit de desarrollo 8
3.. Una vez finalizada la descarga del binario de Java, instale el paquete emitiendo el siguiente comando:
# rpm-Uvh jdk-8u92-linux-x64.rpm 
Instalar Java en CentO S 7
Paso 2: Instale Hadoop Framework en CentOS 7
4.. A continuación, cree una nueva cuenta de usuario en su sistema sin poderes de root para lo cual la usaremos Ruta de instalación y entorno de trabajo de Hadoop. El directorio de inicio de la nueva cuenta residirá en el directorio/opt/hadoop.
# useradd-d/opt/hadoop hadoop # passwd hadoop
5.. En el siguiente paso, visite la página de Apache Hadoop para obtener el enlace para la última versión estable y descargar el archivo en su sistema.
# curl-O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7 .2.tar.gz 
Descargar el paquete Hadoop
6.. Extraiga el archivo y copie el contenido del directorio en la ruta de inicio de la cuenta hadoop. Además, asegúrese de cambiar los permisos de los archivos copiados en consecuencia.
# tar xfz hadoop-2.7.2.tar.gz # cp-rf hadoop-2.7.2/*/opt/hadoop/# chown-R hadoop: hadoop/opt/hadoop/ 
Extraer-y establecer permisos en Hadoop
7.. A continuación, inicie sesión con el usuario hadoop. y configure Hadoop. y Variables de entorno Java. en su sistema editando el archivo .bash_profile.
# su-hadoop $ vi .bash_profile
Agregue las siguientes líneas al final del archivo:
## Variables env JAVA. export JAVA_HOME =/usr/java/default export PATH = $ PATH: $ JAVA_HOME/bin export CLASSPATH =.: $ JAVA_HOME/jre/lib: $ JAVA_HOME/lib: $ JAVA_HOME/lib/tools.jar ## Variables env de HADOOP. export HADOOP_HOME =/opt/hadoop export HADOOP_COMMON_HOME = $ HADOOP_HOME export HADOOP_HDFS_HOME = $ HADOOP_HOME export HADOOP_MAPRED_HOME = $ HOPADO_HOME_HOME export HADOOP_OPTS = “-Djava.library.path = $ HADOOP_HOME/lib/native” exportar HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_HOME/lib/native export PATH = $ PATH: $ HADOOP_HOME/sbin: $ HADOOP_HOME/bin 
Configurar variables de entorno Hadoop y Java
8.. Ahora, inicialice las variables de entorno y verifique su estado emitiendo los siguientes comandos:
$ source .bash_profile $ echo $ HADOOP_HOME $ echo $ JAVA_HOME 
Inicializar variables de entorno Linux
9.. Finalmente, configure la autenticación basada en clave ssh para la cuenta hadoop. ejecutando lo siguiente comandos (reemplace el nombre de host. o FQDN. por el comando ssh-copy-id según corresponda).
Además, deje la contraseña. archivado en blanco para iniciar sesión automáticamente a través de ssh.
