nobug
    Glossário/Message Broker (Kafka, RabbitMQ)
    Infraestrutura

    Message Broker (Kafka, RabbitMQ)

    Middleware que intermedia a troca de mensagens entre sistemas, garantindo entrega confiável e assíncrona.

    Message Broker é um middleware que intermedia a comunicação entre sistemas através de filas de mensagens, garantindo entrega confiável, ordenada e assíncrona. Os dois brokers mais populares são: Apache Kafka (plataforma de streaming distribuído, ideal para alto throughput, event sourcing e pipelines de dados em tempo real) e RabbitMQ (broker AMQP tradicional, ideal para filas de trabalho, routing flexível e cenários de request-reply). Outros brokers relevantes: Amazon SQS/SNS, Azure Service Bus e Redis Streams. Funcionalidades-chave: persistência de mensagens, garantia de entrega (at-least-once, exactly-once), dead letter queues (DLQ), particionamento, consumer groups e replay de mensagens. Message brokers são essenciais em: processamento assíncrono de pedidos, integração entre microserviços, ingestão de dados de IoT, pipelines de ETL em streaming e sistemas de notificação em escala.

    Como funciona na prática

    Um sistema produtor publica uma mensagem, como pedido criado ou pagamento aprovado, e segue seu trabalho sem esperar. O broker guarda a mensagem e a entrega aos sistemas consumidores interessados, que a processam no seu ritmo. Se um consumidor estiver fora do ar, as mensagens ficam aguardando até ele voltar. Mensagens que falham repetidamente podem ir para uma fila separada para análise. No Kafka, os eventos ficam gravados em um registro que pode ser relido, útil para reprocessar dados. No RabbitMQ, o foco está em filas e regras de roteamento flexíveis. Em ambos, o monitoramento do acúmulo de mensagens é essencial.

    Quando faz sentido

    Faz sentido quando vários sistemas precisam reagir ao mesmo acontecimento, quando picos de demanda sobrecarregariam um serviço chamado diretamente ou quando a falha de um sistema não pode derrubar os outros. Exemplos comuns são processamento de pedidos, emissão de notas, envio de notificações, integração entre ERP e e-commerce e coleta de eventos para análise. Faz menos sentido para integrações simples entre dois sistemas, com pouco volume, em que uma chamada direta com nova tentativa resolve. Introduzir um broker sem necessidade acrescenta mais um componente para operar, monitorar e proteger, além de tornar o fluxo mais difícil de depurar.

    O que avaliar

    Avalie o volume esperado, a necessidade de ordem das mensagens e de reprocessamento, que ajudam a escolher entre Kafka, RabbitMQ ou serviços gerenciados de nuvem. Defina o que acontece se uma mensagem for entregue duas vezes, porque muitos cenários garantem entrega pelo menos uma vez e os consumidores precisam tratar duplicidade. Planeje alta disponibilidade, backup das configurações e monitoramento de filas acumuladas. Verifique autenticação e criptografia entre sistemas e broker. Documente o formato de cada mensagem e como ele pode evoluir sem quebrar consumidores. Por fim, considere quem vai operar a plataforma e se uma opção gerenciada reduz esse esforço.

    Este termo faz parte da área de Infraestrutura. Veja como a NOBUG trabalha com integração de sistemas e APIs.