Cómo configurar alta disponibilidad para Namenode-Parte 5

Cómo configurar alta disponibilidad para Namenode-Parte 5

Hadoop. tiene dos componentes principales que son HDFS. e YARN. HDFS. es para almacenar los datos. YARN. es para procesar los datos. HDFS. es Hadoop Distributed File System. tiene Namenode. como Master Service. y Datanode. como Servicio esclavo.

Namenode. es el componente crítico de Hadoop. que almacena los metadatos de los datos almacenados en HDFS. Si el Namenode. deja de funcionar, no se podrá acceder a todo el clúster, es el único punto de falla ( SPOF. . Por lo tanto, el entorno de producción tendrá Alta disponibilidad de Namenode. para evitar la interrupción de la producción si un Namenode. deja de funcionar debido a varias razones, como falla de la máquina, actividad de mantenimiento planificada, etc.

Hadoop 2.x. proporciona la viabilidad donde podemos tener dos Namenodes. uno será Active Namenode. y otro será Nodo de nombre en espera.

  • Nodo de nombre activo. gestiona todas las operaciones del cliente.
  • Nodo de nombre en espera. es redundante de Active Namenode. Si Active NN. deja de funcionar, Standby NN. asumirá toda la responsabilidad de Active NN.

Habilitar Alta disponibilidad de Namenode. requiere Zookeeper. que es obligatorio para la conmutación por error automática. ZKFC. ( Zookeeper Failover Controller. es un cliente Zookeeper. que se utiliza para mantener el estado de Namenode.

Requisitos

  • Mejores prácticas para implementar Hadoop Server en CentOS/RHEL 7-Parte 1
  • Configuración de requisitos previos de Hadoop y refuerzo de la seguridad-Parte 2
  • Cómo para instalar y configurar Cloudera Manager en CentOS/RHEL 7-Parte 3
  • Cómo instalar CDH y configurar ubicaciones de servicios en CentOS/RHEL 7-Parte 4

En En este artículo, vamos a habilitar Alta disponibilidad de Namenode. en Cloudera Manager.

Paso 1: Instalación de Zookeeper

freestar.config. enabled_slots.push

1.. Inicia sesión en Cloudera Manager.

http://Tu-IP: 7180/cmf/home  Panel de control de Cloudera Manager  Panel de control de Cloudera Manager Panel de Cloudera Manager

2.. En el indicador de acción Clúster. ( tecmint. pt, seleccione “ Agregar servicio. .

 Agregar servicio en Cloudera Manager  Agregar servicio en Cloudera Manager Agregar servicio en Cloudera Manager

3.. Seleccione el servicio“ Zookeeper. ”.

 Servicio Zookeeper  Servicio Zookeeper Zookeeper Service

4.. Seleccionar los servidores donde vamos a tener Zookeeper. instalado.

 Agregar servicio Zookeeper  Agregar servicio Zookeeper Agregar servicio Zookeeper

5.. Vamos a tener 3 Zookeepers. para m Quórum de guardián del zoológico. Seleccione los servidores como se menciona a continuación.

Crear Zookeeper Quorum Crear quórum de Zookeeper Create Zookeeper Qu orum

6.. Configura las propiedades del Zookeeper. aquí tenemos las predeterminadas. En tiempo real, debe tener un directorio/puntos de montaje separados para almacenar datos de Zookeeper. En la Parte 1. explicamos la configuración de almacenamiento para cada servicio. Haga clic en ‘ continuar. para continuar.

 Configurar las propiedades de Zookeeper Configurar las propiedades de Zookeeper Configurar las propiedades de Zookeeper

7.. La instalación comenzará, una vez instalado Zookeeper. se iniciará. Puede ver las operaciones en segundo plano aquí.

 Instalando el servicio Zookeeper  Instalación del servicio Zookeeper Instalación de Zookee por servicio

8.. Después de completar con éxito el paso anterior, el estado será ‘ Finalizado. .

 Zookeeper instalado  Zookeeper instalado Zookeeper instalado

9.. Ahora, Zookeeper. se ha instalado y configurado correctamente. Haga clic en ‘ Finalizar. .

 Zookeeper configurado Zookeeper Configurado Zookeeper configurado

10.. Puede ver el servicio Zookeeper. en el Panel de control de Cloudera Manager.

 Ver el servicio Zookeeper  Ver el servicio Zookeeper Ver el servicio Zookeeper

Paso 2: Habilitar la alta disponibilidad de Namenode

11.. Vaya a Cloudera Manager. > HDFS. > Acciones. > Habilitar alta disponibilidad.

 Habilitación de alta disponibilidad  Habilitación de alta disponibilidad Habilitación de alta disponibilidad

12.. Introduzca el nombre del servicio de nombres. como “ servicio de nombres1. : este es un espacio de nombres común para Namenode activo y en espera.

 Agregar nombre de servicio  Agregar nombre del servicio de nombres Agregar nombre de servicio

13.. Seleccione el segundo nombre de nodo. donde vamos a tener el Namenode. en espera.

 Choose Second Namenode  Choose Second Namenode Elija el segundo Namenode

14.. Aquí estamos seleccionando master2.tecmint.com. para el Namenode. en espera.

 Seleccionar host para Namenode  Seleccionar host para Namenod e Seleccionar host para Namenode

15.. Seleccione los nodos Diario. estos son servicios obligatorios para sincronizar Active. y Namenode. en espera.

 Seleccionar nodos Jouranal  Seleccionar nodos Jouranal Seleccionar nodos Jouranal

16.. Estamos haciendo Quoru m Journal. colocando el nodo Journal. en 3 servidores como se menciona a continuación. Seleccione 3 servidores y haga clic en ‘Aceptar’.

Crear diario de quórum Crear diario de quórum Crear un diario de quórum

17 . Haga clic en ‘ Continuar. para continuar.

 Asignar roles a Quorum Journal  Asignar roles a Quorum Journal Asignar Ro archivos al diario del quórum

18.. Introduzca la ruta del directorio Nodo del diario. Solo necesitamos mencionar la ruta mientras que la instalación de este directorio será creado automáticamente por el propio servicio. Mencionamos como “/jn”. Haga clic en ‘ Continuar. para continuar.

 Agregar ruta de nodo de diario  Agregar ruta de nodo de diario Agregar ruta de nodo de diario

19.. Comenzará a habilitar Alta disponibilidad.