LambdaArquitetura
Nível de dificuldade: Intermediário (3 de 5)
Lambda ganha modo de consumo de fila para o Apache Kafka com Share Groups
O novo ConsumptionMode Queue usa os Kafka Share Groups da KIP-932 para desacoplar o paralelismo da contagem de partições, eliminando o bloqueio head-of-line em mapeamentos de origem de eventos do Lambda para Kafka autogerenciado.
O AWS Lambda passou a oferecer um segundo modo de consumo para mapeamentos de origem de eventos (ESMs) que leem do Apache Kafka autogerenciado. Ao lado do modo Stream, que já existia, chega o modo Queue, construído sobre os Kafka Share Groups da KIP-932, recurso introduzido no Kafka 4.0. A fonte é o AWS Brasil Blog, em texto assinado por Vaibhav Jain, Hardith Murari e Nihar Sheth, da AWS, sem data de publicação explícita no material.
Em números
- 10 invocações simultâneas por event poller no modo Queue, contra 5 no modo Stream
- 5 MB/s é o teto agregado de throughput do modo sob demanda, limitado a 50 invocações simultâneas
- 2.000 event pollers é o máximo permitido por ESM no modo provisionado
- 1.000 é o limite da configuração
group.share.max.sizeno Kafka 4.2, que baliza o valor deMaximumPollers
O que mudou
O lançamento adiciona o parâmetro ConsumptionMode aos ESMs do Kafka no Lambda, aceitando Stream (padrão, comportamento atual, sem impacto nos ESMs existentes) ou Queue. No modo Stream, cada partição continua atribuída a exatamente um consumidor, preservando ordenação. No modo Queue, o Lambda passa a usar o Kafka Share Consumer: vários event pollers entram em um share group e podem ler da mesma partição ao mesmo tempo, sem garantia de ordem.
O broker passa a controlar o ciclo de vida de cada registro em quatro estados: Available, Acquired, Acknowledged e Archived. Um registro buscado fica Acquired sob um timeout chamado duração do bloqueio de registro; se a invocação falha, ele volta para Available e qualquer poller pode pegá-lo. Isso é o que resolve o bloqueio head-of-line: hoje, se um tópico tem 10 partições, o máximo de consumidores simultâneos é 10, não importa quantos registros estejam acumulados atrás de um lento.
| Modo Stream | Modo Queue | |
|---|---|---|
| Ordenação | Garantida por partição | Não garantida, nem dentro da partição |
| Atribuição | 1 consumidor por partição | N consumidores por partição (share group) |
| Invocações por poller | até 5 | até 10 |
| Limite de paralelismo | contagem de partições | independente da contagem de partições |
| Caso de uso | CDC, event sourcing, máquinas de estado | upload de mídia, detecção de fraude, notificações, telemetria |
Onde está disponível
A fonte diz que o modo Queue está disponível "em todas as Regiões da AWS em que os mapeamentos de origem de eventos do Lambda para Apache Kafka autogerenciado são suportados". O texto não cita nominalmente nenhuma região específica. Quem opera cluster Kafka ou usa Confluent Cloud não depende de uma expansão regional futura para testar o recurso, já que a disponibilidade acompanha o suporte já existente ao ESM de Kafka autogerenciado.
O requisito não é de região, e sim de versão: o cluster precisa rodar Apache Kafka 4.2 ou posterior, com share groups ativados, seja autogerenciado ou em provedor gerenciado como o Confluent Cloud, desde que ofereça suporte a Kafka Queue.
Quanto custa
O modo sob demanda não tem cobrança adicional além das tarifas padrão de invocação do Lambda. Já o modo provisionado é cobrado pelo uso de Event Poller Unit (EPU), remetendo à página de Preços do AWS Lambda para o detalhamento. A fonte não traz valores numéricos de EPU nem conversão para real.
Uma economia indireta relevante: o modo provisionado elimina a necessidade de endpoints de VPC do AWS PrivateLink, então essa cobrança deixa de existir para quem migrar do modo sob demanda para o provisionado.
Como começar
Nota da redação: o código desta seção não foi executado em ambiente real. Valide antes de usar em produção.
Pelo console, em Add trigger na função Lambda, escolha Self-managed Apache Kafka, informe os bootstrap servers e o tópico, defina Consumption mode como Queue e configure sub-redes e security groups da VPC. Deixar MinimumPollers/MaximumPollers vazios ativa o modo sob demanda.
Pela CLI, o comando mínimo é:
aws lambda create-event-source-mapping \
--function-name my-function \
--self-managed-event-source '{"Endpoints":{"KAFKA_BOOTSTRAP_SERVERS":["broker1.example.com:9092","broker2.example.com:9092"]}}' \
--topics my-queue-topic \
--batch-size 100 \
--self-managed-kafka-event-source-config '{"ConsumptionMode": "Queue"}'ConsumptionMode é o único parâmetro obrigatório para ativar o modo Queue; BatchSize aceita de 1 a 10.000 e tem padrão 100. No CloudFormation, o mesmo recurso usa AWS::Lambda::EventSourceMapping com SelfManagedKafkaEventSourceConfig.ConsumptionMode: Queue.
Para dimensionar o modo provisionado, a fonte dá uma regra prática: divida a taxa de ingestão de base por 5 MB/s, ou divida a simultaneidade alvo por 10. Uma carga que precisa de 300 invocações simultâneas exige pelo menos 30 pollers:
aws lambda create-event-source-mapping \
--self-managed-event-source '{"Endpoints":{"KAFKA_BOOTSTRAP_SERVERS":["broker1.example.com:9092","broker2.example.com:9092"]}}' \
--provisioned-poller-config '{"MinimumPollers": 5, "MaximumPollers": 100}' \
--source-access-configurations '[{"Type":"VPC_SUBNET","URI":"subnet-0123456789abcdef0"},{"Type":"VPC_SUBNET","URI":"subnet-0123456789abcdef1"},{"Type":"VPC_SECURITY_GROUP","URI":"sg-0123456789abcdef0"}]'O que muda para quem já usa
Quem já tem ESMs de Kafka em produção não precisa mexer em nada: o padrão de ConsumptionMode continua Stream, e o comportamento é o mesmo de antes. A mudança é uma opção nova, não uma migração forçada.
Para quem considera adotar o modo Queue, há pontos de atenção que a fonte lista explicitamente:
Nota da redação: o item abaixo sobre filtragem e schema registry combina em uma única funcionalidade dois recursos que a fonte trata separadamente: 'processamento de baixa latência' e 'filtragem com schema registry para Avro e Protobuf'. Essa fusão não corresponde exatamente ao texto original da AWS, e o leitor deve considerar essa imprecisão ao avaliar o item.
- Idempotência obrigatória: o ESM processa cada registro pelo menos uma vez, com possível duplicação; a função precisa tratar isso.
- Sem janela de lote:
MaximumBatchingWindowInSecondsretorna erro de validação, porque o Kafka Share Consumer exige confirmar todo o lote antes de buscar o próximo. - Sem posição inicial configurável:
StartingPositioneStartingPositionTimestampnão são aceitos; o ponto de leitura é controlado porshare.auto.offset.resetno broker. - Filtragem de baixa latência e schema registry (Avro/Protobuf) só existem no modo provisionado, não no sob demanda.
- Isolamento de EPU: ESMs em modo Queue só compartilham capacidade de poller com outros ESMs em modo Queue; reutilizar o mesmo
PollerGroupNameentre modos Stream e Queue gera erro de validação emCreateEventSourceMapping.
No broker, quatro configurações interagem diretamente com o ESM: group.share.partition.max.record.locks (registros em andamento por partição), group.share.record.lock.duration.ms (timeout de visibilidade, padrão de 30 segundos), group.share.delivery.count.limit (tentativas antes de arquivar) e group.share.max.size (máximo de consumidores no share group, até 1.000 no Kafka 4.2). Quem roda o próprio cluster Kafka precisa revisar esses quatro valores antes de ligar o modo Queue em produção, principalmente se já estiver perto do limite de group.share.max.size com outros consumidores.
Fonte
Serviços neste textoLambda
Na dúvida sobre qual usar?ECS, EKS ou Lambda?Três perguntas, a comparação e a nossa recomendaçãoLeve para a sua IA
Decida com o seu assistente, com o contexto deste texto já montado.
1. O que você quer saber
Ver o prompt
Li no AWS Hub: "Lambda ganha modo de consumo de fila para o Apache Kafka com Share Groups" (https://awshub.com.br/noticia/lambda-ganha-modo-de-consumo-de-fila-para-o-apache-kafka-com-share-groups). Resumo: O novo ConsumptionMode Queue usa os Kafka Share Groups da KIP-932 para desacoplar o paralelismo da contagem de partições, eliminando o bloqueio head-of-line em mapeamentos de origem de eventos do Lambda para Kafka autogerenciado. Fonte oficial: https://aws.amazon.com/pt/blogs/aws-brasil/apresentando-o-modo-de-consumo-de-fila-para-apache-kafka-no-aws-lambda/ Serviços: Lambda Minha stack: [descreva em uma linha: serviços, linguagem, volume, região] Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?