Table of Contents

Cómo instalar Apache Kafka en CentOS/RHEL 7

Apache Kafka. es un potente motor de mensajería, que se utiliza ampliamente en proyectos de BigData. y en el ciclo de vida de Data Analytics. Es una plataforma de código abierto para crear canalizaciones de transmisión de datos en tiempo real. Es una plataforma distribuida de publicación-suscripción con confiabilidad, escalabilidad y durabilidad.

Podemos tener Kafka. como independiente o como clúster. Kafka. almacena los datos de transmisión y se pueden clasificar como Temas. El tema. tendrá varias particiones para poder manejar una cantidad arbitraria de datos. Además, podemos tener múltiples réplicas para tolerancia a fallas como las que estamos teniendo en HDFS. En un clúster de Kafka, el intermediario es un componente que almacena los datos publicados.

Zookeeper es un servicio obligatorio para ejecutar un clúster de Kafka. ya que se utiliza para administrar el co-ordenación de los corredores de Kafka. Zookeeper juega un papel clave entre productor y consumidor donde es responsable de mantener el estado de todos los brokers.

En este artículo, explicaremos cómo instalar Apache Kafka. en un solo nodo CentOS 7. o RHEL 7.

Instalación de Apache Kafka en CentOS 7

1.. Primero, debe instalar Java. en su sistema para ejecutar Apache Kafka. sin errores. Por lo tanto, instale la versión predeterminada disponible de Java. usando el siguiente comando yum y verifique la versión de Java. como se muestra.

# yum-y install java-1.8.0-openjdk # java-version Verificar la versión de Java freestar.config.enabled_slots.push (LocationName:” tecmint_incontent “, slotId:” tecmint_incontent “);

2.. A continuación, descargue la versión estable más reciente de Apache Kafka. del sitio web oficial o utilice el siguiente comando wget para descargarlo directamente y extraerlo eso.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar-xzf kafka_2.13-2.7.0.tgz

3.. Cree un enlace simbólico para el paquete kafka. luego agregue la ruta del entorno Kafka al archivo .bash_profile y luego inicialícelo como se muestra.

# ln-s kafka_2.13-2.7 .0 kafka # echo “export PATH = $ PATH:/root/kafka_2.13-2.7.0/bin”>> ~/.bash_profile # source ~/.bash_profile

4.. Siguiente, inicie Zookeeper. que viene integrado con el paquete Kafka. Dado que es un clúster de un solo nodo, puede iniciar Zookeeper con propiedades predeterminadas.

# zookeeper-server-start.sh-daemon/root/kafka/config/zookeeper.properties

5.. Validar si el guardián del zoológico es accesible o no simplemente por telnet. al puerto 2181. del guardián del zoológico.

# telnet localhost 2181 Verificar el puerto de Zookeeper

6.. Inicie Kafka. con sus propiedades predeterminadas.

# kafka-server-start.sh-daemon/root/kafka/config/server.properties Iniciar servicio Kafka

7.. Valide si se puede acceder a Kafka. o no simplemente mediante telnet al puerto de Kafka 9092. # telnet localhost 9092 Verify Kafka Port

8.. A continuación, cree una muestra tema.

# kafka-topics.sh–create–zookeeper localhost: 2181-factor de replicación 1–particiones 1–topic tecmint Crear tema en Kafka

9.. Enumere el tema creado.

# kafka-topics.sh-zookeeper localhost: 2181–list Lista de temas en la conclusión de Kafka

En este artículo, hemos visto cómo instalar un clúster Kafka de un solo nodo en CentOS 7. Veremos cómo instalar un Kafka Cluster multinodo en el próximo artículo.