RedshiftDados
Nível de dificuldade: Básico (2 de 5)
Redshift Serverless corta custo de faturamento da Twilio em 70%
A Twilio publicou, no AWS Big Data Blog, os detalhes de como sua unidade Commerce Platform reconstruiu o motor de billing que converte uso de mensageria, voz, e-mail e vídeo em fatura. O post é assinado em coautoria com Sean McKibben, engenheiro de software principal da Twilio, e descreve uma arquitetura que foi para produção em meados de 2026 depois de rodar em paralelo com o sistema legado para validação de conformidade SOX.
O caso interessa a quem desenha pipeline analítico sobre banco transacional: a Twilio não trocou Aurora MySQL por outro banco relacional, ela colocou Amazon Redshift Serverless no meio do caminho entre o evento de uso e a linha de fatura, usando streaming e Zero-ETL para eliminar pipelines de ETL customizados.
Em números
- 70% de redução no custo de infraestrutura do pipeline de billing, segundo a Twilio
- 12x mais rápido o recálculo mensal completo, caindo de mais de 6 horas para 30 minutos
- 200 milhões de pontos de preço geridos pelo motor de rating, ante um subconjunto limitado no sistema antigo
- 1.024 RPUs é o teto de escala automática nos workgroups mais pesados, partindo de uma base de 128 RPUs
O problema
O billing da Twilio rodava sobre 70 instâncias Aurora MySQL particionadas (sharding), convertendo bilhões de eventos de uso em faturas para clientes de mensageria, voz, e-mail e vídeo. O desenho funcionou por anos, mas a empresa processa dezenas de bilhões de eventos de uso por mês contra 200 milhões de pontos de preço, e o legado começou a mostrar limites estruturais, não só de capacidade.
Os sintomas eram operacionais e de produto ao mesmo tempo:
- Backlogs de processamento que levavam horas para esvaziar
- Falhas frequentes de ETL, com engenheiros gastando mais tempo apagando incêndio do que entregando funcionalidade
- Custo de infraestrutura desproporcional ao valor gerado
- Impossibilidade de reprecificar uso retroativo (mudança de plano, correção, ajuste promocional) sem reprocessamento manual
- Time de finanças sem conseguir rodar consulta analítica sem impactar a produção
O requisito não negociável era consistência de grau financeiro: nenhuma cobrança duplicada, nenhum evento perdido. Isso descarta de cara qualquer arquitetura que troque consistência por desempenho analítico puro.
A arquitetura
O desenho publicado pela Twilio separa o billing em quatro camadas, com Amazon Redshift Serverless atuando como peça central entre ingestão em tempo real e consumo analítico.
- Cada produto (mensageria, voz, e-mail, vídeo) emite eventos de uso para tópicos em clusters Amazon MSK Serverless.
- Os eventos chegam ao Redshift por streaming ingestion; materialized views com
AUTO refreshdeduplicam por identificador de transação e agregam por cliente, produto e dia, no workgroup de metering. - Em paralelo, os clusters Aurora MySQL que guardam catálogo de produto e configuração de preço replicam toda mudança para o Redshift via Zero-ETL com
history modeativado, preservando timestamp de cada alteração de preço. - O workgroup de rating cruza os agregados de metering com o histórico de preço do Zero-ETL e aplica as regras dos 200 milhões de pontos de preço (descontos em camada, promoções que se empilham em ordem específica, pacotes multiproduto, impostos bifurcados), orquestradas como DAGs SQL pelo dbt Core.
- O workgroup Bookkeeper formata o resultado como itens de linha de fatura, envia para a plataforma de faturamento Zuora e recebe de volta o invoice finalizado em Parquet via Amazon S3, carregado com
COPY; os dados também são gravados no Amazon DynamoDB para o console do cliente. - Um workgroup dedicado, o Customer Usage API, recebe data shares do Bookkeeper e do Metering para responder à API pública de uso quase em tempo real, sem competir por capacidade com o pipeline de faturamento.
- Os mesmos dados curados são escritos como tabelas Iceberg no Amazon S3, catalogadas no AWS Glue Data Catalog, e consultadas por times de produto via Amazon Athena, sem acesso direto ao Redshift.
- Dashboards internos (One Admin) consultam o Redshift diretamente, e o time de finanças passou de atualização em lote diária para resposta em menos de um minuto.
Os serviços envolvidos
| Serviço | Papel na arquitetura |
|---|---|
| Amazon Redshift Serverless | Workgroups de metering, rating, bookkeeper e Customer Usage API; escala de 128 a 1.024 RPUs |
| Amazon MSK Serverless | Tópicos de eventos de uso por produto, consumidos via streaming ingestion |
| Amazon Aurora MySQL + Zero-ETL | Catálogo de produto e preço, replicado com histórico completo de mudanças |
| dbt Core | Orquestra os DAGs SQL de metering, rating e bookkeeping, com lineage de cálculo |
| AWS Glue Data Catalog + Iceberg no S3 | Entrega de dados financeiros curados ao data lake, sem job Spark |
| Amazon Athena | Consulta analítica de times de produto sobre as tabelas Iceberg |
| Amazon DynamoDB | Serve o console de autoatendimento do cliente com baixa latência |
| Zuora (terceiro) | Plataforma de faturamento que recebe os itens de linha e devolve a fatura final |
A combinação que chama atenção é o uso de data sharing do Redshift para isolar cada workload (metering, rating, invoicing, API pública) em workgroups separados, em vez de replicar o data warehouse inteiro para cada consumidor.
Trade-offs
A escolha por isolamento de carga via múltiplos workgroups favorece o pilar de excelência operacional do Well-Architected: cada time opera, monitora e paga pelo seu próprio workgroup, sem disputar capacidade com o pipeline de faturamento. O custo é complexidade de gestão: mais superfícies para configurar permissão de data share e mais pontos para monitorar separadamente.
A isolação serializable usada para garantir consistência transacional atende ao pilar de confiabilidade, mas não é de graça: isolamento mais rígido tende a aumentar contenção em cargas de escrita concorrente, o que a Twilio resolveu combinando a isolação com lógica de deduplicação nas próprias materialized views, em vez de depender só do nível de isolamento do banco.
Materialized views com AUTO refresh entregam dado quase em tempo real sem pipeline em lote, mas mantêm computação ativa continuamente para manter os agregados atualizados. É uma troca explícita de eficiência de desempenho por custo computacional constante, o oposto do padrão batch que só gasta quando roda.
Serverless remove provisionamento e failover manual, o que serve diretamente ao pilar de otimização de custos ao deixar o Redshift escalar de 128 para até 1.024 RPUs conforme a demanda. O risco inverso existe: se a base de RPU for mal calibrada, o workload pode sofrer throttling nos picos ou pagar por capacidade ociosa fora deles, algo que só se ajusta observando o comportamento real da carga.
Custo estimado
A Twilio não publicou valor absoluto em dólar, só a variação relativa: queda de 70% no custo de infraestrutura do pipeline de billing, mesmo com o volume de dados armazenado subindo para quase dois trilhões de eventos, volume que a arquitetura legada em Aurora MySQL particionado não comportava. A fonte também não detalha o preço por RPU-hora em nenhuma região, incluindo sa-east-1 (São Paulo), então qualquer estimativa em dólar para replicar o caso depende de consultar a página de preços do Redshift Serverless com os valores vigentes da região escolhida.
O dado concreto que a Twilio dá para dimensionar capacidade é a faixa de RPU: os workgroups de billing operam com base de 128 RPUs, escalando sob demanda até 1.024 RPUs nas cargas mais pesadas, com a escala automática orientada por IA do próprio serviço decidindo quando subir e descer. Para quem está orçando um projeto parecido, o ponto de partida prático é modelar o custo pela faixa de RPU-hora esperada, não por uma estimativa fixa de vCPU como em cluster provisionado.
Como adaptar
O caso da Twilio serve de referência direta para quem mantém dado de faturamento, métricas de uso ou qualquer domínio que precise de consistência transacional e consulta analítica ao mesmo tempo, mas vale calibrar a decisão pelo padrão de acesso, não pela arquitetura pronta.
Vale considerar essa arquitetura quando:
- O volume de eventos é alto o bastante para justificar streaming (Amazon MSK) em vez de lote periódico
- A origem transacional já está em Aurora MySQL ou PostgreSQL, tornando o Zero-ETL com
history modeviável sem CDC customizado - Times diferentes (operação, produto, finanças, API pública) precisam consultar o mesmo dado sem competir por capacidade, caso em que data sharing do Redshift substitui réplicas completas do warehouse
- Existe exigência de auditoria ou histórico de preço/configuração ao longo do tempo, como no requisito de conformidade SOX citado pela Twilio
Provavelmente não vale a pena quando o volume de eventos é pequeno, a janela de atualização em lote (horária ou diária) já atende ao negócio, e o custo operacional de manter streaming ingestion, múltiplos workgroups e Zero-ETL supera o ganho de latência. Nesses casos, um pipeline batch tradicional com Redshift provisionado ou mesmo Amazon Athena sobre S3 continua mais barato de operar.
Um ponto prático para começar pequeno: subir a base de RPU baixa e deixar a escala automática orientada por IA do Redshift Serverless calibrar o teto real de uso antes de fixar um workgroup provisionado, evitando pagar por capacidade de pico o tempo todo.
Nossa transformação de billing com o Amazon Redshift deu à empresa a capacidade de lançar novas formas de vender que antes eram impensáveis. O fato de isso ter acontecido reduzindo custo em 70% e reduzindo a sobrecarga operacional nos mostrou o quanto a abordagem era poderosa.
Our billing transformation with Amazon Redshift empowered the business to deliver new ways of selling which were impossible to consider before. The fact that it did this while simultaneously reducing costs by 70% and reducing operational overhead told us how powerful the approach was.Sean McKibben, Principal Software Engineer, Twilio
A Twilio apresentou o caso completo, com as equipes de Amazon Redshift e Amazon Athena, em uma sessão no AWS re:Invent 2025, para quem quiser o desenho técnico com mais profundidade do que o post do blog cobre.
Fonte: AWS Big Data Blog
Serviços neste textoRedshiftRDS e AuroraAthena e Glue
Leve para a sua IA
Decida com o seu assistente, com o contexto deste texto já montado.
1. O que você quer saber
Ver o prompt
Li no AWS Hub: "Redshift Serverless corta custo de faturamento da Twilio em 70%" (https://awshub.com.br/bancos-de-dados/redshift-serverless-corta-custo-de-faturamento-da-twilio-em-70). Resumo: A Twilio trocou um sistema de billing baseado em 70 instâncias Aurora MySQL particionadas por uma arquitetura em Amazon Redshift Serverless com streaming e Zero-ETL, e reduziu custo de infraestrutura em 70% processando quase dois trilhões de eventos. Fonte oficial: https://aws.amazon.com/blogs/big-data/how-twilio-modernized-billing-at-70-lower-cost-with-amazon-redshift/ Serviços: Redshift, RDS e Aurora, Athena e Glue Minha stack: [descreva em uma linha: serviços, linguagem, volume, região] Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?