AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

LambdaArquitetura

Nível de dificuldade: Intermediário (3 de 5)

Lambda ganha modo de consumo de fila para o Apache Kafka com Share Groups

Por AWS Hub6 min de leitura

O novo ConsumptionMode Queue usa os Kafka Share Groups da KIP-932 para desacoplar o paralelismo da contagem de partições, eliminando o bloqueio head-of-line em mapeamentos de origem de eventos do Lambda para Kafka autogerenciado.

O AWS Lambda passou a oferecer um segundo modo de consumo para mapeamentos de origem de eventos (ESMs) que leem do Apache Kafka autogerenciado. Ao lado do modo Stream, que já existia, chega o modo Queue, construído sobre os Kafka Share Groups da KIP-932, recurso introduzido no Kafka 4.0. A fonte é o AWS Brasil Blog, em texto assinado por Vaibhav Jain, Hardith Murari e Nihar Sheth, da AWS, sem data de publicação explícita no material.

Em números

  • 10 invocações simultâneas por event poller no modo Queue, contra 5 no modo Stream
  • 5 MB/s é o teto agregado de throughput do modo sob demanda, limitado a 50 invocações simultâneas
  • 2.000 event pollers é o máximo permitido por ESM no modo provisionado
  • 1.000 é o limite da configuração group.share.max.size no Kafka 4.2, que baliza o valor de MaximumPollers

O que mudou

O lançamento adiciona o parâmetro ConsumptionMode aos ESMs do Kafka no Lambda, aceitando Stream (padrão, comportamento atual, sem impacto nos ESMs existentes) ou Queue. No modo Stream, cada partição continua atribuída a exatamente um consumidor, preservando ordenação. No modo Queue, o Lambda passa a usar o Kafka Share Consumer: vários event pollers entram em um share group e podem ler da mesma partição ao mesmo tempo, sem garantia de ordem.

O broker passa a controlar o ciclo de vida de cada registro em quatro estados: Available, Acquired, Acknowledged e Archived. Um registro buscado fica Acquired sob um timeout chamado duração do bloqueio de registro; se a invocação falha, ele volta para Available e qualquer poller pode pegá-lo. Isso é o que resolve o bloqueio head-of-line: hoje, se um tópico tem 10 partições, o máximo de consumidores simultâneos é 10, não importa quantos registros estejam acumulados atrás de um lento.

Modo StreamModo Queue
OrdenaçãoGarantida por partiçãoNão garantida, nem dentro da partição
Atribuição1 consumidor por partiçãoN consumidores por partição (share group)
Invocações por polleraté 5até 10
Limite de paralelismocontagem de partiçõesindependente da contagem de partições
Caso de usoCDC, event sourcing, máquinas de estadoupload de mídia, detecção de fraude, notificações, telemetria

Onde está disponível

A fonte diz que o modo Queue está disponível "em todas as Regiões da AWS em que os mapeamentos de origem de eventos do Lambda para Apache Kafka autogerenciado são suportados". O texto não cita nominalmente nenhuma região específica. Quem opera cluster Kafka ou usa Confluent Cloud não depende de uma expansão regional futura para testar o recurso, já que a disponibilidade acompanha o suporte já existente ao ESM de Kafka autogerenciado.

O requisito não é de região, e sim de versão: o cluster precisa rodar Apache Kafka 4.2 ou posterior, com share groups ativados, seja autogerenciado ou em provedor gerenciado como o Confluent Cloud, desde que ofereça suporte a Kafka Queue.

Quanto custa

O modo sob demanda não tem cobrança adicional além das tarifas padrão de invocação do Lambda. Já o modo provisionado é cobrado pelo uso de Event Poller Unit (EPU), remetendo à página de Preços do AWS Lambda para o detalhamento. A fonte não traz valores numéricos de EPU nem conversão para real.

Uma economia indireta relevante: o modo provisionado elimina a necessidade de endpoints de VPC do AWS PrivateLink, então essa cobrança deixa de existir para quem migrar do modo sob demanda para o provisionado.

Como começar

Nota da redação: o código desta seção não foi executado em ambiente real. Valide antes de usar em produção.

Pelo console, em Add trigger na função Lambda, escolha Self-managed Apache Kafka, informe os bootstrap servers e o tópico, defina Consumption mode como Queue e configure sub-redes e security groups da VPC. Deixar MinimumPollers/MaximumPollers vazios ativa o modo sob demanda.

Pela CLI, o comando mínimo é:

aws lambda create-event-source-mapping \
--function-name my-function \
--self-managed-event-source '{"Endpoints":{"KAFKA_BOOTSTRAP_SERVERS":["broker1.example.com:9092","broker2.example.com:9092"]}}' \
--topics my-queue-topic \
--batch-size 100 \
--self-managed-kafka-event-source-config '{"ConsumptionMode": "Queue"}'

ConsumptionMode é o único parâmetro obrigatório para ativar o modo Queue; BatchSize aceita de 1 a 10.000 e tem padrão 100. No CloudFormation, o mesmo recurso usa AWS::Lambda::EventSourceMapping com SelfManagedKafkaEventSourceConfig.ConsumptionMode: Queue.

Para dimensionar o modo provisionado, a fonte dá uma regra prática: divida a taxa de ingestão de base por 5 MB/s, ou divida a simultaneidade alvo por 10. Uma carga que precisa de 300 invocações simultâneas exige pelo menos 30 pollers:

aws lambda create-event-source-mapping \
--self-managed-event-source '{"Endpoints":{"KAFKA_BOOTSTRAP_SERVERS":["broker1.example.com:9092","broker2.example.com:9092"]}}' \
--provisioned-poller-config '{"MinimumPollers": 5, "MaximumPollers": 100}' \
--source-access-configurations '[{"Type":"VPC_SUBNET","URI":"subnet-0123456789abcdef0"},{"Type":"VPC_SUBNET","URI":"subnet-0123456789abcdef1"},{"Type":"VPC_SECURITY_GROUP","URI":"sg-0123456789abcdef0"}]'

O que muda para quem já usa

Quem já tem ESMs de Kafka em produção não precisa mexer em nada: o padrão de ConsumptionMode continua Stream, e o comportamento é o mesmo de antes. A mudança é uma opção nova, não uma migração forçada.

Para quem considera adotar o modo Queue, há pontos de atenção que a fonte lista explicitamente:

Nota da redação: o item abaixo sobre filtragem e schema registry combina em uma única funcionalidade dois recursos que a fonte trata separadamente: 'processamento de baixa latência' e 'filtragem com schema registry para Avro e Protobuf'. Essa fusão não corresponde exatamente ao texto original da AWS, e o leitor deve considerar essa imprecisão ao avaliar o item.

  • Idempotência obrigatória: o ESM processa cada registro pelo menos uma vez, com possível duplicação; a função precisa tratar isso.
  • Sem janela de lote: MaximumBatchingWindowInSeconds retorna erro de validação, porque o Kafka Share Consumer exige confirmar todo o lote antes de buscar o próximo.
  • Sem posição inicial configurável: StartingPosition e StartingPositionTimestamp não são aceitos; o ponto de leitura é controlado por share.auto.offset.reset no broker.
  • Filtragem de baixa latência e schema registry (Avro/Protobuf) só existem no modo provisionado, não no sob demanda.
  • Isolamento de EPU: ESMs em modo Queue só compartilham capacidade de poller com outros ESMs em modo Queue; reutilizar o mesmo PollerGroupName entre modos Stream e Queue gera erro de validação em CreateEventSourceMapping.

No broker, quatro configurações interagem diretamente com o ESM: group.share.partition.max.record.locks (registros em andamento por partição), group.share.record.lock.duration.ms (timeout de visibilidade, padrão de 30 segundos), group.share.delivery.count.limit (tentativas antes de arquivar) e group.share.max.size (máximo de consumidores no share group, até 1.000 no Kafka 4.2). Quem roda o próprio cluster Kafka precisa revisar esses quatro valores antes de ligar o modo Queue em produção, principalmente se já estiver perto do limite de group.share.max.size com outros consumidores.

Fonte

Fonte: AWS Brasil — Blog oficial (pt-BR)

Serviços neste textoLambda

Na dúvida sobre qual usar?ECS, EKS ou Lambda?Três perguntas, a comparação e a nossa recomendação

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "Lambda ganha modo de consumo de fila para o Apache Kafka com Share Groups" (https://awshub.com.br/noticia/lambda-ganha-modo-de-consumo-de-fila-para-o-apache-kafka-com-share-groups).
Resumo: O novo ConsumptionMode Queue usa os Kafka Share Groups da KIP-932 para desacoplar o paralelismo da contagem de partições, eliminando o bloqueio head-of-line em mapeamentos de origem de eventos do Lambda para Kafka autogerenciado.
Fonte oficial: https://aws.amazon.com/pt/blogs/aws-brasil/apresentando-o-modo-de-consumo-de-fila-para-apache-kafka-no-aws-lambda/
Serviços: Lambda

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.