AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

KinesisDados

Nível de dificuldade: Intermediário (3 de 5)

Amazon MSK Express brokers passam a rodar em instâncias Graviton4 M8g com broker-hour 15% mais barato

Por AWS Hub5 min de leitura

A AWS passou a oferecer Express brokers do Amazon MSK em instâncias M8g baseadas em Graviton4, com broker-hour 15% mais barato que no M7g e corte de 50% no custo de tráfego cross-AZ. Mas a fonte não confirma preço nem disponibilidade específicos para São Paulo.

Em números

  • 15% menor é o preço por hora do broker Express em M8g comparado ao mesmo tamanho em M7g.
  • 50% é a redução total no custo de tráfego cross-AZ entre cliente e broker, porque a AWS deixou de cobrar o lado do broker.
  • 24xlarge é o novo teto de tamanho do broker Express, ante 16xlarge no M7g.
  • 3x mais backlog os consumidores processaram em 30 minutos no teste da AWS com M8g, na comparação com M7g.

O que mudou

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) passou a oferecer Express brokers rodando em instâncias AWS Graviton4-based M8g, segundo o AWS Big Data Blog. Até então, os Express brokers (o tipo de broker que a própria AWS gerencia storage e tuning, tirando essa responsabilidade do seu time) rodavam só em M7g.

Três mudanças práticas vêm junto com a geração M8g:

  • Broker-hour 15% mais barato em cada tamanho, comparado ao mesmo tamanho em M7g.
  • Fim da cobrança do lado do broker para tráfego cross-AZ de clientes, cortando o custo total desse tráfego pela metade.
  • Novo tamanho express.m8g.24xlarge, que não existia em M7g (o teto anterior era 16xlarge).

No benchmark publicado pela AWS, comparando express.m8g.large com express.m7g.large sob a mesma carga, o P99 de latência de produção (tempo de confirmação para o 1% de requisições mais lentas) caiu entre 21% e 54% dependendo do ingress por broker, a CPU do broker ficou 9 a 11 pontos percentuais mais baixa, e consumidores que ficaram atrasados (por exemplo após uma saída de ar ou um deploy) limparam até 3x mais backlog em 30 minutos.

Onde está disponível

A fonte afirma que o Amazon MSK suporta tamanhos M8g "em toda Região AWS que suporta Express brokers", sem listar as regiões uma a uma. Isso significa que, onde sa-east-1 (São Paulo) já suporta Express brokers hoje, o M8g deveria estar disponível também, mas a fonte não confirma explicitamente a região sa-east-1 nem traz preço para ela.

Todo o benchmark de performance e os dois clusters de teste (M8g e M7g) rodaram em US East (N. Virginia), não em São Paulo. Antes de planejar uma migração, vale checar no console do MSK ou via DescribeClusterOperationV2/ListClusters se o tamanho desejado de M8g já aparece disponível na sua conta em sa-east-1.

Quanto custa

Os valores em dólar que a fonte traz são todos de US East (N. Virginia), na data do post. Não há conversão para real nem preço publicado para São Paulo.

ItemExpress em M7gExpress em M8g
express.*.large, preço por hora$0.408$0.347
Cobrança cross-AZ, lado do broker$0.01/GBNão cobrada
Cobrança cross-AZ, lado do cliente$0.01/GB$0.01/GB (sem mudança)
Total cross-AZ por GB$0.02$0.01
Maior tamanho de broker16xlarge24xlarge

A fonte traz um exemplo de cluster com três brokers large, 30 MBps de ingress e dois consumer groups (60 MBps de egress), rodando 30 dias em US East (N. Virginia):

Item mensalM7gM8gM8g com rack awareness
Broker-hour (3 × 720h)$881,28$749,52$749,52
Cross-AZ produce (51.840 GB)$1.036,80$518,40$518,40
Cross-AZ consume (103.680 GB)$2.073,60$1.036,80$0
Total$3.991,68$2.304,72$1.267,92

O custo de dados-in e de storage não muda entre as gerações e não entra nessa conta. Sem rack awareness, o M8g já reduz o custo de tráfego cross-AZ pela metade em relação ao M7g, porque a AWS deixou de cobrar o lado do broker. Com rack awareness ativado, consumidores leem de uma réplica na própria Availability Zone e deixam de gerar tráfego cross-AZ no consumo, o que no exemplo acima está refletido na coluna "M8g com rack awareness", que zera o item Cross-AZ consume e chega ao total mais baixo da tabela.

Como começar

Para um cluster novo, no console do Amazon MSK: escolha Create cluster, selecione Express como tipo de broker e escolha um tamanho M8g. O mesmo fluxo está disponível via API CreateClusterV2.

Para migrar um cluster Express que já roda em M7g, a troca é feita broker a broker, sem parar o cluster:

aws kafka update-broker-type \
 --cluster-arn <seu-cluster-arn> \
 --current-version <versao-atual-do-cluster> \
 --target-instance-type express.m8g.large

Antes de rodar o comando, confira se a contagem de partições por broker e o throughput atual cabem dentro dos limites recomendados do tamanho de destino (a tabela de limites por tamanho está na página do serviço). Para quem roda Standard brokers ou um cluster Kafka self-managed, o caminho é criar um cluster Express novo em M8g e usar o Amazon MSK Replicator para copiar tópicos, dados e offsets de consumer group.

O que muda para quem já usa

Para quem já opera Express brokers em M7g em produção, a atualização para M8g não exige mudança de código de aplicação: autenticação, Kafka version, configurações customizadas, métricas no CloudWatch e Open Monitoring com Prometheus continuam os mesmos. Para tamanhos disponíveis nas duas gerações, storage e throughput por broker também não mudam, então dá pra trocar de geração mantendo o mesmo tamanho.

Um ponto de atenção para quem desenha arquitetura multi-AZ: o limite de conexões por broker não muda entre gerações, e a cobrança de replicação entre brokers (e entre nós de metadata e brokers) continua isenta nas duas. Quem já usa rack awareness configurando replica.selector.class como org.apache.kafka.common.replica.RackAwareReplicaSelector e client.rack nos consumidores mantém o ganho e ainda soma o desconto de 50% no tráfego cross-AZ restante do lado do produtor.

Para quem avalia Kafka gerenciado como alternativa ou complemento ao Kinesis Data Streams num pipeline de streaming, o ponto prático é o mesmo: o M8g reduz o custo-base por broker e o custo de operar um cluster espalhado em três Availability Zones, sem exigir reescrita de producer ou consumer. A fonte recomenda testar com a carga real antes de decidir o tamanho, já que os números de latência e CPU do benchmark valem só para large e podem variar com tamanho de mensagem, batch e número de consumer groups.

Fonte: AWS Big Data Blog

Serviços neste textoKinesis

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "Amazon MSK Express brokers passam a rodar em instâncias Graviton4 M8g com broker-hour 15% mais barato" (https://awshub.com.br/noticia/amazon-msk-express-brokers-passam-a-rodar-em-instancias-graviton4-m8g-com-broker).
Resumo: A AWS passou a oferecer Express brokers do Amazon MSK em instâncias M8g baseadas em Graviton4, com broker-hour 15% mais barato que no M7g e corte de 50% no custo de tráfego cross-AZ. Mas a fonte não confirma preço nem disponibilidade específicos para São Paulo.
Fonte oficial: https://aws.amazon.com/blogs/big-data/amazon-msk-express-brokers-available-on-aws-graviton4-based-m8g-instances/
Serviços: Kinesis

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.