KinesisDados
Nível de dificuldade: Básico (2 de 5)
Klaviyo migra do RabbitMQ para o Amazon MSK Express e escala brokers de 12 para 60 na Black Friday
A CRM usada por mais de 200 mil marcas trocou o RabbitMQ por Amazon MSK Express e, com isso, escalou de 12 para 60 brokers em sete semanas para aguentar a Black Friday de 2025, sem precisar dobrar a equipe de infraestrutura.
Nota da redação: a tabela comparativa MSK Express vs. MSK Standard, neste artigo, atribui ao MSK Standard um modelo de cobrança por 'volume de armazenamento provisionado' e um comportamento de 'rebalanceamento manual, com throttle'. A fonte usada (AWS Big Data Blog) não documenta explicitamente esses dois pontos para o MSK Standard; ela apenas contrasta de forma implícita com as características do Express. Trate essa linha da tabela como inferência razoável, não como fato confirmado na fonte.
A CRM usada por mais de 200 mil marcas trocou o RabbitMQ por Amazon MSK Express e, com isso, escalou de 12 para 60 brokers em sete semanas para aguentar a Black Friday de 2025, sem fazer a equipe de infraestrutura crescer na mesma proporção.
Em números
- 3 bilhões de eventos processados por dia em regime normal (até setembro de 2025)
- 170.000 eventos por segundo no pico, mantendo SLO de 5 segundos para gatilhos em tempo real
- 22,7 bilhões de mensagens entregues durante a Black Friday/Cyber Monday de 2025, 25% a mais que no ano anterior
- 60 brokers em operação no pico, contra 12 em regime normal
O problema
O Klaviyo (NYSE: KVYO) é uma plataforma de CRM para e-commerce usada por mais de 200 mil marcas. Cada email, SMS e push personalizado que a plataforma dispara depende de um pipeline de streaming que, em regime normal, ingere cerca de 3 bilhões de eventos por dia: abertura de email, visita a site, compra concluída, carrinho abandonado.
Esse pipeline rodava em cima de RabbitMQ. Funcionou durante anos de crescimento, mas em algum ponto escalar além de um certo volume ficou difícil o bastante para o time decidir reconstruir a base para o próximo patamar. A AWS descreve três exigências do novo desenho, publicadas no AWS Big Data Blog:
- Absorver picos extremos: a Black Friday/Cyber Monday (BFCM) leva o volume a cerca de 7 vezes o normal, concentrado em cinco dias
- Atender duas classes de SLO na mesma infraestrutura: gatilhos em tempo real (SLO de 5 segundos) e agregados analíticos (SLO de 20 minutos) dividem o mesmo pipeline, sem que o trabalho mais lento travasse o evento crítico
- Zero perda de dado: cada evento alimenta uma campanha de marketing, então nada pode sumir silenciosamente
Na prática, isso significava sustentar picos de 170.000 eventos por segundo, absorver um salto de 7 vezes o volume normal e, depois, devolver a capacidade ao tamanho de regime.
Para quem já opera Amazon Kinesis Data Streams, o caso serve de contraponto direto: o problema de absorver pico sazonal e depois encolher é o mesmo que motiva o modo on-demand do Kinesis, só que resolvido aqui com um stack Kafka gerenciado em vez de shards gerenciados pela AWS.
A arquitetura
O desenho reconstrói o gateway de eventos do Klaviyo sobre Apache Kafka, com Amazon MSK Express como backbone. O fluxo, do evento de origem ao dado consumido, funciona assim:
- O evento (abertura de email, clique, atividade no site, chamada de API) entra por um proxy publisher em gRPC, que roda na frente do cluster.
- O publisher classifica o evento por prioridade e o roteia para um de três tópicos Kafka: p10, p20 e p30, cada um com 360 partições. Essa estrutura de prioridades sustenta as duas classes de SLO do pipeline: gatilhos em tempo real, com SLO de 5 segundos, e agregados analíticos, com SLO de 20 minutos.
- Um orquestrador de eventos consome as três prioridades com um único conjunto de processadores, rodando como StatefulSets no Kubernetes: um pod por partição, 90 pods por cluster, em quatro clusters, 360 pods no total.
- Se a publicação falha contra o cluster Kafka, uma arquitetura de retry graduada entra em ação: cinco níveis de atraso com backoff exponencial, mais uma dead-letter queue para o que não se recupera sozinho.
- O que ainda assim falha vai para captura em Amazon S3, como última rede de segurança; o Klaviyo mantém sete dias de histórico de eventos no Kafka para replay em caso de incidente downstream.
- Desde maio de 2026, um segundo cluster de gateway de eventos roda em eu-central-1, espelhando o desenho americano para atender clientes europeus.
Os serviços envolvidos
O desenho combina peças gerenciadas da AWS com orquestração própria:
| Serviço / componente | Papel no pipeline |
|---|---|
| Amazon MSK Express (express.m7g.4xlarge) | Backbone de streaming, porta de entrada de todos os eventos |
| Tópicos Kafka p10/p20/p30 | Três tiers de prioridade, 360 partições cada |
| Kubernetes (StatefulSets) | Orquestrador de eventos, um pod por partição |
| Proxy publisher em gRPC | Classificação e roteamento de prioridade na entrada |
| Amazon S3 | Captura de falha como última rede de segurança |
| Cluster em eu-central-1 | Gateway de eventos espelhado para clientes europeus |
Vale situar o MSK Express ao lado do MSK Standard, a alternativa mais próxima dentro do portfólio de streaming da AWS:
| Opção | Unidade de cobrança | Quem gerencia partição/shard | Retenção máxima |
|---|---|---|---|
| MSK Express | GB ingerido + GB armazenado, por hora | Partições fixas por topologia de consumo; rebalanceamento automatizado | Configurável, Klaviyo usa 7 dias |
| MSK Standard | Volume de armazenamento provisionado | Rebalanceamento manual, com throttle | Configurável |
Trade-offs
Três capacidades do MSK Express foram críticas para um time enxuto operar isso, segundo a AWS. Cada uma toca um pilar diferente do Well-Architected.
Em eficiência operacional, o Express elimina o dimensionamento de armazenamento: a cobrança é por GB ingerido e por GB armazenado, por hora, com os dados replicados em três zonas de disponibilidade por padrão. O Intelligent Rebalancing automatiza a redistribuição de partições quando se adicionam brokers, algo que normalmente exige planejamento manual e controle de throttle; a AWS reporta rebalanceamento 180 vezes mais rápido que no MSK Standard. Isso permitiu ao Klaviyo escalar de 12 para 60 brokers em cerca de sete semanas sem um engenheiro dedicado a reatribuir partições.
Em confiabilidade, brokers Express recuperam-se de falha 90% mais rápido que o Standard, segundo testes internos da AWS, e um nó substituto sobe sem disparar um rebalanceamento pesado no resto do cluster. Combinado com o retry graduado, a dead-letter queue e a captura em S3, o resultado prático foi pequeno: em uma janela de três meses, cerca de 20.000 eventos foram recuperados automaticamente, sem intervenção humana, de aproximadamente 300 bilhões processados no período.
Em otimização de custos, rodar um único conjunto de processadores atendendo as três prioridades, em vez de infraestrutura separada por tier, cortou custo em cerca de 30%. E como o Express cobra por GB armazenado, escalar o fleet de volta ao tamanho normal depois do BFCM não deixou capacidade de armazenamento parada e paga.
O lado que não é de graça: o número de partições (360 por tópico) continua sendo uma decisão de arquitetura do time, amarrada à topologia de consumo (um pod por partição), não algo que o MSK Express resolve sozinho. Acoplar partição a broker teria forçado uma mudança de partição no meio da rampa de BFCM.
A escolha entre os dois costuma se resumir a isto: se o pipeline precisa de semântica de consumer group do Kafka e do ecossistema em volta (Kafka Connect, ksqlDB), MSK compensa a operação extra; se a necessidade é ingestão simples com poucos consumidores e integração nativa com Firehose ou Lambda, Kinesis tira esse trabalho de cima do time.
Migrar para infraestrutura Kafka gerenciada na AWS MSK foi uma daquelas decisões que continuam pagando dividendos.
Moving to managed Kafka infrastructure on AWS MSK was one of those decisions that keeps paying dividends.Equipe de engenharia, Klaviyo
Custo estimado
A fonte não publica um preço por GB para a região São Paulo (sa-east-1), nem data o post com precisão; o que ela detalha é o modelo de cobrança e a trajetória de escala. O Express cobra por dado ingerido no cluster e por dado armazenado nele, por GB por hora, com replicação em três AZs incluída no preço, sem a conta separada de volume provisionado do MSK Standard.
A trajetória de brokers ao longo do ciclo de BFCM 2025, segundo a AWS:
| Período | Brokers | Contexto |
|---|---|---|
| Regime normal (até setembro de 2025) | 12 | Processamento diário de ~3 bilhões de eventos |
| Início de outubro de 2025 | 18 | Primeiro aumento de capacidade para a temporada de fim de ano |
| Fim de outubro a novembro de 2025 (BFCM) | 60 | Capacidade plena de Black Friday/Cyber Monday |
| Dezembro de 2025 (pós-BFCM) | Fleet otimizado de volta ao regime | Capacidade devolvida ao tamanho normal |
O único número de economia concreto que a fonte traz é o corte de aproximadamente 30% obtido ao unificar o processamento das três prioridades em vez de manter infraestrutura separada por tier, não uma cifra de GB-mês ou de preço por evento.
Como adaptar
Para arquitetos e times de DevOps/SRE pensando num pipeline parecido, os aprendizados que o próprio Klaviyo lista valem como checklist:
- Dimensione partições pela topologia de consumo, não pela contagem de brokers: se o consumidor é um pod por partição, esse número fica fixo enquanto o fleet de brokers escala para cima e para baixo por baixo dele.
- Desenhe as classes de SLO na estrutura de tópicos desde o início: separar prioridades em tópicos distintos, mas rodar um único conjunto de processadores sobre eles, é o que rendeu o corte de custo de 30% sem sacrificar o SLO de 5 segundos no tráfego crítico.
- Construa tolerância a falha em cada camada: retry com backoff, dead-letter queue e um fallback durável fora do cluster (aqui, Amazon S3) evitam que uma falha pontual vire perda de dado.
- Escale para baixo com a mesma disciplina que escala para cima: carregar capacidade de pico o ano inteiro custa caro; o modelo de cobrança por GB armazenado do Express só paga esse benefício se o time realmente encolhe o fleet depois do pico.
- Decida entre Kafka/MSK e Kinesis pelo padrão de consumo, não pela moda: se o pipeline precisa de grupos de consumidor com ordenação por partição e um ecossistema de ferramentas Kafka em volta, MSK Express compensa a operação extra; se a necessidade é ingestão mais simples com poucos consumidores, Kinesis Data Streams tira esse trabalho operacional de cima do time.
O uso de MSK no Klaviyo já passou do gateway de eventos: a infraestrutura de change data capture (CDC) da empresa também roda em Amazon MSK Express, e o time avalia migrar para MSK os clusters Kafka autogerenciados em Amazon EC2 que hoje servem cargas de data lake.
Fonte: AWS Big Data Blog
Serviços neste textoKinesis
Leve para a sua IA
Decida com o seu assistente, com o contexto deste texto já montado.
1. O que você quer saber
Ver o prompt
Li no AWS Hub: "Klaviyo migra do RabbitMQ para o Amazon MSK Express e escala brokers de 12 para 60 na Black Friday" (https://awshub.com.br/bancos-de-dados/klaviyo-migra-do-rabbitmq-para-o-amazon-msk-express-e-escala-brokers-de-12-para). Resumo: A CRM usada por mais de 200 mil marcas trocou o RabbitMQ por Amazon MSK Express e, com isso, escalou de 12 para 60 brokers em sete semanas para aguentar a Black Friday de 2025, sem precisar dobrar a equipe de infraestrutura. Fonte oficial: https://aws.amazon.com/blogs/big-data/how-klaviyo-processes-3-billion-daily-events-at-scale-with-amazon-msk-express/ Serviços: Kinesis Minha stack: [descreva em uma linha: serviços, linguagem, volume, região] Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?