Introdução:

O Kafka é uma plataforma de streaming distribuída que é amplamente utilizada para coletar, processar e armazenar dados em tempo real. O Kafka Manager Web é uma interface gráfica de usuário (GUI) que pode ser usada para gerenciar, monitorar e diagnosticar clusters Kafka. Neste artigo, vamos discutir como configurar o Kafka com o Kafka Manager Web no Docker e Kubernetes.

Pré-requisitos:

Antes de começar, você deve ter uma compreensão básica dos conceitos do Kafka e do Docker e Kubernetes. Você também precisa ter o Docker e o Kubernetes instalados em sua máquina.

Configurando o Kafka com o Kafka Manager Web no Docker:

Passo 1:

Crie um arquivo docker-compose.yml e adicione o seguinte conteúdo:

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_CREATE_TOPICS: "topic1:1:1,topic2:1:1"
  kafka-manager:
    image: sheepkiller/kafka-manager
    environment:
      ZK_HOSTS: "zookeeper:2181"
    ports:
      - "9000:9000"

Neste arquivo, estamos configurando três serviços: Zookeeper, Kafka e Kafka Manager Web. O serviço Zookeeper é usado para gerenciar e armazenar o estado do cluster Kafka. O serviço Kafka é usado para processar e armazenar dados. E o serviço Kafka Manager Web é usado para gerenciar e monitorar clusters Kafka.

Passo 2:

Execute o seguinte comando para iniciar o cluster Kafka e o Kafka Manager Web:

docker-compose up

Após a execução deste comando, o cluster Kafka e o Kafka Manager Web estarão disponíveis em seus respectivos endereços. Você pode acessar o Kafka Manager Web em http://localhost:9000.

Configurando o Kafka com o Kafka Manager Web no Kubernetes:

Passo 1:

Crie um arquivo kafka-manager-deployment.yaml e adicione o seguinte conteúdo:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kafka-manager
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka-manager
  template:
    metadata:
      labels:
        app: kafka-manager
    spec:
      containers:
        - name: kafka-manager
          image: sheepkiller/kafka-manager
          ports:
            - containerPort: 9000
          env:
            - name: ZK_HOSTS
              value: "zookeeper:2181"

Neste arquivo, estamos criando um deployment que define um contêiner que executa o Kafka Manager Web. O deployment define uma réplica do contêiner e a configuração de rede necessária para que ele seja executado.

Passo 2:

O arquivo kafka-manager-service.yaml define um serviço para expor o contêiner Kafka Manager Web dentro do cluster Kubernetes. Ele se comunica com o deployment Kafka Manager Web que definimos anteriormente.

 spec:
  ports:
    - name: http
      port: 9000
      targetPort: 9000
  selector:
    app: kafka-manager
  type: NodePort

Neste arquivo, estamos expondo a porta 9000 do contêiner do Kafka Manager Web. Além disso, estamos selecionando o deployment que definimos anteriormente.

Passo 3:

Execute o seguinte comando para criar o deployment e o serviço:

kubectl apply -f kafka-manager-deployment.yaml
kubectl apply -f kafka-manager-service.yaml

Após a execução desses comandos, o Kafka Manager Web estará disponível em um IP e porta específicos. Você pode obter o IP e a porta do serviço com o seguinte comando:

minikube service kafka-manager --url

Conclusão:

O Kafka Manager Web é uma interface gráfica poderosa para gerenciar e monitorar clusters Kafka. Neste artigo, discutimos como configurar o Kafka com o Kafka Manager Web no Docker e Kubernetes. Ao seguir essas etapas, você pode facilmente criar e gerenciar clusters Kafka com o Kafka Manager Web. Lembre-se de que a configuração específica do seu ambiente pode variar, portanto, certifique-se de consultar a documentação oficial do Docker e Kubernetes e ajustar as etapas conforme necessário.