Mejores prácticas para implementar Hadoop Server en CentOS/RHEL 7-Parte 1

Mejores prácticas para implementar Hadoop Server en CentOS/RHEL 7-Parte 1

En esta serie de artículos, cubriremos todo el edificio Cloudera Hadoop Cluster Building. con las mejores prácticas recomendadas para proveedores. e industriales.

Parte 1 : Mejores prácticas para implementar Hadoop Server en CentOS/RHEL 7 Parte 2 : Configuración de requisitos previos de Hadoop y refuerzo de la seguridad Parte 3 : Cómo instalar y configurar Cloudera Manager en CentOS/RHEL 7 Parte 4 : Cómo instalar CDH y configurar ubicaciones de servicios en CentOS/RHEL 7 Parte 5 : Cómo configurar alta disponibilidad para Namenode Parte 6 : Cómo configurar alta disponibilidad para Resource Manager Parte 7 : Cómo instalar y configurar Hive con alta disponibilidad Parte 8 : Cómo instalar y configurar Sentry (herramienta de autorización) Parte 9 : Cómo instalar Kerberos (Kerberizar el clúster) para la autenticación de Hadoop Parte 10 : Cómo Tune Cluster (Yarn Tuning) en CentOS/RHEL 7

OS. instalación y haz Los requisitos previos a nivel de SO. son los primeros pasos para crear un clúster de Hadoop. Hadoop. puede ejecutarse en varios tipos de plataforma Linux: CentOS. RedHat. Ubuntu. Debian. SUSE. etc., en la producción en tiempo real, la mayoría de los clústeres de Hadoop. se crean sobre RHEL/CentOS. utilizará CentOS 7. para la demostración en esta serie de tutoriales.

En una organización, la instalación del sistema operativo se puede realizar mediante kickstart. Si se trata de un clúster de 3 a 4 nodos, la instalación manual es posible, pero si construimos un clúster grande con más de 10 nodos, es tedioso instalar el sistema operativo uno por uno. En este escenario, el método Kickstart entra en escena, podemos proceder con la instalación masiva usando kickstart.

Lograr un buen rendimiento de un entorno Hadoop. depende de aprovisionar el hardware correcto & Software. Por lo tanto, la creación de un clúster Hadoop. de producción implica mucha consideración con respecto al hardware y software.

En este artículo, analizaremos varios puntos de referencia sobre la instalación del sistema operativo y algunas de las mejores prácticas para la implementación. Cloudera Hadoop Cluster Server. en CentOS/RHEL 7.

Consideraciones importantes y mejores prácticas para implementar Hadoop Server

freestar.config.enabled_slots. push

Las siguientes son las mejores prácticas para configurar la implementación de Cloudera Hadoop Cluster Server. en CentOS/RHEL 7.

  • Los servidores Hadoop no requieren servidores estándar de la empresa para construir un clúster, requieren hardware básico.
  • En el clúster de producción, tener de 8 a 12 discos de datos se recomiendan. De acuerdo con la naturaleza de la carga de trabajo, debemos decidir sobre esto. Si el clúster es para aplicaciones de computación intensiva, tener de 4 a 6 unidades es la mejor práctica para evitar problemas de E/S.
  • Las unidades de datos deben particionarse individualmente, por ejemplo, comenzando desde /data01. a /data10.
  • La configuración RAID no se recomienda para los nodos trabajadores, porque el propio Hadoop proporciona tolerancia a fallas en los datos al replicar los bloques en 3 de forma predeterminada. Por lo tanto, JBOD. es mejor para los nodos trabajadores.
  • Para los servidores maestros, RAID 1. es la mejor práctica.
  • El sistema de archivos predeterminado en CentOS/RHEL 7.x. es XFS. Hadoop admite XFS, ext3 y ext4. El sistema de archivos recomendado es ext3, ya que se ha probado para un buen rendimiento.
  • Todos los servidores deben tener la misma versión del sistema operativo, al menos la misma versión menor.
  • Es mejor práctica para tener hardware homogéneo (todos los nodos de trabajo deben tener las mismas características de hardware (RAM, espacio en disco y núcleo, etc.).
  • De acuerdo con la carga de trabajo del clúster (carga de trabajo equilibrada, computación intensiva, E/S intensiva) y El tamaño, la planificación de recursos (RAM, CPU) por servidor será diferente.

Encuentre el siguiente ejemplo de particionamiento del disco de los servidores de almacenamiento de 24TB.

 Disk Partitioning  Partición de discoi ng Particionamiento del disco

Instalación de CentOS 7 para la implementación del servidor Hadoop

Cosas que debe saber antes de instalar el servidor CentOS 7. para Hadoop Server.

  • Una instalación mínima es suficiente para Servidores Hadoop. ( nodos trabajadores. , en algunos casos, la GUI se puede instalar solo para servidores Maestros o Administración servidores donde podemos usar navegadores para las IU web de las herramientas de administración.
  • La configuración de redes, el nombre de host y otras configuraciones relacionadas con el sistema operativo se pueden realizar después de la instalación del sistema operativo.
  • En tiempo real, Los proveedores de servidores tendrán su propia consola para interactuar y administrar los servidores, por ejemplo: los servidores Dell tienen iDRAC, que es un dispositivo integrado con servidores. Usando esa interfaz iDRAC, podemos instalar el sistema operativo con una imagen del sistema operativo en nuestro sistema local.

En este artículo, hemos instalado el sistema operativo ( CentOS 7. en VMware máquina virtual. Aquí, no tendremos varios discos para realizar particiones. CentOS es similar a RHEL. (misma funcionalidad), por lo que veremos los pasos para instalar CentOS.

1.. Comience descargando la imagen ISO de CentOS 7.x en su sistema Windows local y selecciónela mientras inicia la máquina virtual. Seleccione ‘ Instalar CentOS 7. como se muestra.

 Instalar el menú de inicio de CentOS 7 Instalar el menú de inicio de CentOS 7 Instalar el menú de inicio de CentOS 7

2.. Seleccione el Idioma. el predeterminado será Inglés. y haga clic en Continuar.

 Seleccionar CentOS 7 Idioma  Seleccione el idioma de CentOS 7 Seleccione CentOS 7 Language

3.. Selección de software. seleccione ‘ Instalación mínima. y haga clic en ‘ Listo. .

 Selección de software CentOS  Selección de software CentOS Selección de software CentOS Instalación mínima de CentOS 7  Instalación mínima de CentOS 7 Instalación mínima de CentOS 7

4.. Establezca la contraseña de root. ya que nos pedirá que la establezcamos.

 Establecer contraseña raíz  Establecer contraseña raíz Establecer contraseña raíz

5.. Destino de instalación. este es el paso importante t Sea cauteloso. Necesitamos seleccionar el disco donde se debe instalar el sistema operativo, se debe seleccionar el disco dedicado para el sistema operativo. Haga clic en ‘ Destino de instalación. y seleccione el disco, en tiempo real habrá varios discos allí, debemos seleccionar, preferiblemente ‘ sda. .

 Seleccionar destino de instalación Seleccionar destino de instalación Seleccione el destino de instalación  Seleccionar Disco para la instalación de CentOS  Seleccionar disco para instalación de CentOS Seleccionar disco para instalación de CentOS

6.. Otras opciones de almacenamiento. elija la segunda opción (configuraré el particionamiento) para configurar el particionamiento relacionado con el sistema operativo como /var. /var/log. /home. /tmp. /opt. /swap.

 Particionamiento CentOS manual  Particionamiento CentOS manual Particionamiento CentOS manual

7.. Una vez hecho esto, comience la instalación.

 Comenzar la instalación de CentOS  Comenzar la instalación de CentOS Comenzar la instalación de CentOS  Instalación de CentOS 7  Instalación de CentOS 7 Instalación de CentOS 7

8.. Una vez completada la instalación, reinicie el servidor.

 Instalación de CentOS 7 completa  Instalación de CentOS 7 completa Instalación de CentOS 7 Complete

9.. Inicie sesión en el servidor y establezca el nombre de host.

# hostnamectl status # hostnamectl set-hostname tecmint # hostnamectl status  Establecer nombre de host en CentOS  Establecer Nombre de host en CentOS Establecer el nombre de host en CentOS Resumen

En este artículo, hemos analizado los pasos de instalación del sistema operativo y las mejores prácticas para la partición del sistema de archivos. Todos estos son pautas generales, de acuerdo con la naturaleza de la carga de trabajo, es posible que debamos concentrarnos en más matices para lograr el mejor rendimiento del clúster. La planificación de clústeres es un arte para el administrador de Hadoop. En el próximo artículo profundizaremos en los requisitos previos del nivel del sistema operativo y el refuerzo de la seguridad.