Amazon MSK: lag de consumer group agora chega ao CloudWatch sem exporter próprio

O que a AWS mudou

Os managed Prometheus collectors, serviço que descobre e extrai métricas Prometheus de workloads sem que você rode e opere um agente de coleta, passaram a suportar métricas de consumer-group do Amazon MSK. A AWS divulgou a novidade em 30 de outubro de 2026: a integração coleta métricas do Kafka exporter e métricas de lag por consumer-group direto dos clusters MSK, sem instalar nada no cluster ou ao lado dele.

O dado coletado pode ir para dois lugares: um workspace do Amazon Managed Service for Prometheus (AMP) ou direto para o Amazon CloudWatch. É essa dupla porta de entrada, mais do que a métrica em si, que muda a conversa sobre stack de observabilidade de quem já roda MSK em produção.

Como funcionava antes

Medir o lag de um consumer group (quantas mensagens ele ainda não processou em relação ao que já foi produzido no tópico) sempre exigiu algo rodando à parte do cluster MSK. Na prática, isso quase sempre significava um Kafka Exporter ou um JMX Exporter como container sidecar ou deployment dedicado, expondo métricas num endpoint /metrics que o Prometheus (ou o collector) precisava descobrir via scrape_config ou ServiceMonitor.

- job_name: 'kafka-exporter'
  static_configs:
    - targets: ['kafka-exporter.monitoring:9308']

Esse exporter também é um componente de produção como qualquer outro: precisa de patch de segurança, de limite de CPU e memória, de política de IAM se falar com a API do MSK, e de um alerta próprio para avisar quando ele mesmo cai silenciosamente e some do painel sem ninguém notar.

Como funciona agora

Com o managed collector, a descoberta e a coleta do exporter e das métricas de lag passam a ser responsabilidade da AWS: você aponta o collector para o cluster MSK e ele extrai o que precisa, sem container, sem scrape_config versionado em cada repositório e sem SLA próprio pra manter. A AWS não detalhou no anúncio o passo a passo de configuração nem o nome exato de cada métrica exposta, limitando a descrição a "Kafka exporter metrics and consumer-group lag metrics" — vale checar a documentação de Amazon Managed Service for Prometheus e de Amazon CloudWatch antes de desligar o que já roda em produção.

Depois de coletado, o dado segue para um destino à escolha:

• Amazon Managed Service for Prometheus: consulta via PromQL, regras de alerta nativas do Prometheus e integração direta com Grafana gerenciado ou qualquer dashboard que já fale PromQL.
• Amazon CloudWatch: a métrica vira métrica nativa do CloudWatch, consumida por CloudWatch Alarms e CloudWatch Dashboards, sem exigir que o time aprenda PromQL pra correlacionar com o resto do ambiente.

Por que isso importa pra quem opera MSK em produção

Consumer lag costuma ser a métrica que mais cedo denuncia um problema real: um consumidor travado, um gargalo de processamento ou um pico de produção que o lado de consumo não acompanha. Tirar o exporter da equação remove um componente inteiro da superfície operacional, menos container pra manter, menos política de IAM pra desenhar, menos scrape_config pra versionar e menos monitoramento recursivo (monitorar quem monitora).

O que ainda não está claro

A AWS não divulgou preço específico para a coleta de métricas de MSK: o anúncio não detalha como isso será cobrado. Também não há lista fechada de regiões: o texto da fonte diz apenas que o recurso "está disponível em todas as regiões da AWS onde managed Prometheus collectors estão em disponibilidade geral", sem nomear quais são.

Quem opera em São Paulo (sa-east-1) precisa confirmar na documentação de Amazon Managed Service for Prometheus se a região já está nessa lista antes de planejar qualquer migração. Até lá, uma rota mais segura é rodar o exporter atual em paralelo ao managed collector por um tempo, comparando os dois valores de lag antes de desligar o que já está em produção.

Fonte 1: AWS What's New (https://aws.amazon.com/about-aws/whats-new/2026/10/prometheus-collectors-msk-metrics/)

Managed Prometheus collectors now support Amazon MSK consumer-group metrics - AWS

Skip to main content

Managed Prometheus collectors now support Amazon MSK consumer-group metrics

Posted on: Oct 30, 2026

Managed Prometheus collectors now support Amazon MSK consumer-group metrics for Amazon Managed Service for Prometheus and Amazon CloudWatch . The integration collects Kafka exporter metrics and consumer-group lag metrics from your Amazon MSK clusters.

Managed Prometheus collectors discover and collect Prometheus metrics from your workloads, so you don't run and operate collection agents yourself. You ingest the collected metrics into an Amazon Managed Service for Prometheus workspace or into Amazon CloudWatch, where you query and analyze them. You monitor Kafka stream health and consumer performance with consumer-group metrics. This helps you detect processing bottlenecks in your streaming applications.

This feature is available in all AWS Regions where managed Prometheus collectors are generally available. To learn more, see the documentation for Amazon Managed Service for Prometheus and Amazon CloudWatch .

Fonte: AWS What's New