AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

Athena e GlueDados

Nível de dificuldade: Básico (2 de 5)

Veeva reduz pipeline de 1 petabyte de 9 horas para 4 com EMR on EKS e Karpenter

Por AWS Hub7 min de leitura

A Veeva Systems, fornecedora de software para a indústria farmacêutica, mantém um lago analítico (o Veeva Compass) originalmente projetado para processar centenas de terabytes por dia, volume hoje superado por um crescimento exponencial que levou a operação a escala de petabytes, para transformar receitas, procedimentos e diagnósticos em produtos de dados vendidos a laboratórios. Segundo case publicado no AWS Big Data Blog, o crescimento desse lago expôs os limites do desenho original em Amazon EMR on EC2, e a empresa descreve, depois de um ano operando a arquitetura nova em produção, como migrou para Amazon EMR on EKS com Karpenter.

O problema não era falta de capacidade, era variabilidade. Quando os executores Spark ficavam sem memória, os estágios de shuffle não conseguiam compensar e as tarefas derramavam dados em disco, somando horas ao tempo de execução. Para aproveitar clusters provisionados que ficavam ociosos à tarde, a Veeva passou a distribuir jobs de times diferentes no mesmo cluster, o que gerou o clássico problema de noisy neighbor: um join pesado de um time travava o pipeline crítico de outro.

Como o EMR on EKS com Karpenter resolve isso por baixo

No desenho antigo, cada cluster EMR em EC2 definia grupos de nós fixos, com tipo e tamanho de instância escolhidos antecipadamente. Isso funciona para cargas estáveis, mas Spark não é estável: um job pede instâncias otimizadas em memória para joins largos, o próximo pede instâncias otimizadas em CPU para transformações pesadas.

Com EMR on EKS, cada aplicação Spark roda como um job efêmero dentro do Kubernetes: os executores sobem como pods e morrem quando o job termina, enquanto os dados ficam desacoplados em Amazon S3. O Karpenter entra para provisionar os nós sob demanda: ele observa pods pendentes, analisa os requisitos de CPU e memória, escolhe entre mais de 20 famílias de instância EC2 e sobe o nó certo em 60 a 90 segundos, derrubando-o minutos depois que o job acaba.

O ganho de elasticidade aparece num número concreto do case: um job de ETL de bronze para silver processando cerca de 1 PB escalou o cluster de 40 para 520 nós em 5 minutos e 42 segundos, contra 18 minutos no desenho anterior. O Karpenter também cuida do bin-packing, consolidando pods em menos nós para reduzir desperdício de capacidade.

Três perfis de nó, três estratégias de Spot

A Veeva não trata todo executor Spark do mesmo jeito. O case descreve três perfis:

  • Drivers: rodam em instâncias On-Demand porque coordenam a execução do job e não toleram interrupção por reclamação de Spot. Representam menos de 5% do custo total de computação.
  • Executores de ETL geral: rodam cerca de 70% em Spot, espalhados pelo Karpenter entre várias famílias de instância para maximizar disponibilidade. Quando uma interrupção acontece, o checkpointing do Spark e o Adaptive Query Execution (AQE) cuidam da recuperação.
  • Nós com shuffle pesado: usam instâncias com NVMe local, porque o SSD melhora o desempenho quando o executor derrama dados em disco em joins largos. Rodam cerca de 50% em Spot, proporção menor porque essas famílias têm disponibilidade de Spot um pouco mais baixa.

Para quem desenha capacidade em produção, essa segmentação é o ponto central: não existe uma única política de Spot certa, existe uma por padrão de workload.

Partição, compaction e Adaptive Query Execution

A arquitetura segue o padrão medallion (bronze, silver, gold) sobre S3 em formato Delta Lake, particionado por data (YYYY-MM-DD) mais uma dimensão de alta cardinalidade, como região ou segmento de cliente. O tamanho alvo de arquivo Parquet fica entre 256 e 512 MB, e jobs noturnos rodam o comando OPTIMIZE do Delta Lake com Z-ordering nas colunas mais filtradas, o que melhorou a performance de consulta de 3 a 5 vezes.

O ajuste que mais mudou o resultado, segundo a Veeva, foi habilitar o AQE: em vez de confiar em estimativas estáticas, o Spark reajusta o plano de execução com estatísticas de runtime, trata skew de dados automaticamente e permite execução especulativa para recuperar tarefas lentas. Essa combinação reduziu o estágio de join com skew de 7 horas para 55 minutos. Cache de tabelas de dimensão em memória, para evitar releitura repetida do S3, cortou mais 20% a 30% do tempo em jobs que reusam as mesmas tabelas de lookup.

Observabilidade e isolamento multi-tenant

Com dados de prescrição e sinistros no lago, a Veeva monta uma pilha de observabilidade em quatro camadas: Spark History Server com logs de evento no S3 para reconstruir o grafo de execução; Prometheus e Grafana acompanhando uso de CPU e memória dos executores, profundidade da fila de pods pendentes e taxa de shuffle-spill; CloudWatch Logs Insights agregando logs com alertas automáticos; e OpenTelemetry ligando os jobs Spark à orquestração em Airflow e Step Functions.

Para isolamento, cada job recebe credenciais temporárias via IAM Roles for Service Accounts (IRSA), escopadas a prefixos específicos do S3 e a permissões do AWS Lake Formation: um job pode ler de bronze e silver, mas só escreve no próprio caminho de saída. Namespaces do Kubernetes com taints e tolerations definem onde cada time roda, com cotas de recurso próprias. Criptografia em repouso usa AWS KMS com chaves gerenciadas pelo cliente, e o shuffle do Spark é criptografado nativamente.

Os números da migração

MétricaEMR em EC2EMR on EKS + KarpenterMelhora
ETL bronze→silver (1 PB)9h124h0755% mais rápido
Compaction diária de 20 TB3h401h5548% mais rápido
Escalar de 40 para 520 nós18 min5min42s68% mais rápido
Custo de EC2 ocioso/mêsUS$ 42.000US$ 0100% de redução
Participação de Spot0%~70%~63% de economia

O maior salto veio do scale-to-zero: o cluster antigo rodava 24 horas por dia só para evitar os 15 a 20 minutos de startup, e isso custava US$ 42 mil mensais em capacidade parada. Com nós subindo em menos de 6 minutos, a Veeva eliminou esse custo sem perder a capacidade de atender pipelines críticos de SLA assim que o job chega.

O trade-off para quem já usa Glue e Athena

Nem toda equipe precisa reproduzir esse desenho. Se o seu ETL roda em jobs Glue com um punhado de DPUs, parte do problema que a Veeva resolveu (cluster parado cobrando ocioso) já vem resolvida pelo modelo serverless do próprio Glue, sem você operar control plane de EKS, afinar política do Karpenter ou desenhar namespace e taint por time. O mesmo vale do lado de consulta: a Veeva optou por rodar Trino sobre EMR on EKS para consultas sub-segundo sobre as tabelas Delta, mas isso significa manter um cluster de consulta no ar; para volume de consulta ad hoc e esporádico, Athena entrega o mesmo resultado sem cluster nenhum para operar.

O que justifica o investimento em orquestrar o próprio Kubernetes é a combinação específica da Veeva: volumes em escala de petabyte, jobs com perfis de recurso muito diferentes entre si (memória para um join largo, CPU para outro), SLA que não tolera os 15 a 20 minutos de cold start de um cluster EMR tradicional, e massa crítica de engenharia para manter Karpenter, IRSA e a pilha de observabilidade. Abaixo desse patamar, Glue e Athena resolvem o mesmo problema de elasticidade com muito menos superfície operacional.

O que vale replicar independente da escala

A lição mais repetida no case nem é sobre Kubernetes: é que "partition hygiene matters more than hardware" (a higiene de partição importa mais que o hardware), a Veeva passou semanas ajustando memória de executor e tipo de instância antes de perceber que o gargalo real era proliferação de arquivos pequenos. Compaction noturna, sem mexer em configuração de cluster nenhuma, já reduziu 40% do tempo de job. Isso vale tanto para quem roda Spark em EKS quanto para quem roda o mesmo job em Glue.

Outras duas práticas generalizam bem: tratar Spot como regra, não exceção, assumindo de 5% a 10% de rotatividade horária na frota de executores e apoiando-se em checkpointing e AQE para absorver a perda; e rodar benchmark sintético em escalas crescentes (a Veeva testou em 1 PB, 2 PB e 5 PB) antes de migrar produção, para expor pressão de garbage collection e limites de shuffle enquanto ainda dá para corrigir sem incidente.

Fonte: AWS Big Data Blog

Serviços neste textoAthena e Glue

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "Veeva reduz pipeline de 1 petabyte de 9 horas para 4 com EMR on EKS e Karpenter" (https://awshub.com.br/bancos-de-dados/veeva-reduz-pipeline-de-1-petabyte-de-9-horas-para-4-com-emr-on-eks-e-karpenter).
Resumo: A fabricante de software para o setor farmacêutico trocou clusters EMR fixos por EMR on EKS com Karpenter e eliminou US$ 42 mil mensais de capacidade ociosa, sem perder desempenho em jobs Spark de escala variável.
Fonte oficial: https://aws.amazon.com/blogs/big-data/how-veeva-scaled-big-data-with-amazon-emr-on-eks/
Serviços: Athena e Glue

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.