AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

S3Comunidade

Nível de dificuldade: Avançado (4 de 5)

Particionamento ruim no S3 encarece cada consulta no Athena

Por AWS Hub8 min de leitura

Pastas de data lake cheias de arquivos minúsculos fazem o Athena perder tempo lendo metadados em vez de dados, e isso vira custo real por consulta. O guia mostra como migrar para Apache Iceberg no Glue Data Catalog e compactar os arquivos sem reescrever o pipeline inteiro.

Pastas de data lake cheias de arquivos minúsculos fazem o Athena perder tempo lendo metadados em vez de dados, e isso vira custo real por consulta. O guia mostra como migrar para Apache Iceberg no Glue Data Catalog e compactar os arquivos sem reescrever o pipeline inteiro.

Pastas de data lake cheias de arquivos minúsculos fazem o Athena perder tempo lendo metadados em vez de dados, e isso vira custo real por consulta. O guia mostra como migrar para Apache Iceberg no Glue Data Catalog e compactar os arquivos sem reescrever o pipeline inteiro.

Em números

  • 128 MB a 512 MB: faixa de tamanho de arquivo Parquet/ORC considerada o ponto ideal para scan eficiente no Athena.
  • 134.217.728 bytes (128 MB): valor literal usado no parâmetro target-file-size-bytes do procedimento rewrite_data_files do Iceberg.
  • 100 GB: abaixo desse volume total de dados, o overhead de manter manifests e rodar compactação no Iceberg costuma superar o ganho de performance.
  • 1.000 arquivos: cenário citado na fonte para uma única partição de hora em um pipeline de logs, o que já basta para o Athena gastar mais tempo abrindo arquivos do que processando linhas.

O anti-pattern que ninguém vê na fatura

Todo engenheiro de dados que trabalha com AWS chega num ponto em que o bucket S3 deixa de ser uma landing zone simples e vira um data lake consultável. Começa com alguns arquivos JSON e, meses depois, são milhões de objetos espalhados em uma árvore de diretórios profunda. A suposição comum é que, por estar numa stack moderna, a performance se mantém constante. Segundo o artigo da DEV Community que origina esta pauta, ela não se mantém.

O Amazon Athena cobra pelo volume de dados escaneado, mas antes de escanear dado ele precisa resolver o split: abrir cada arquivo, ler seu metadado, decidir o que entra na consulta. Num layout particionado por year=/month=/day=/hour=, uma consulta de uma hora que caia sobre 1.000 arquivos pequenos obriga o motor a reconciliar 1.000 cabeçalhos de arquivo antes de processar uma única linha. Escalado para um ano de dados, isso vira milhões de chamadas de metadados contra o S3, incluindo ListObjectsV2 e HeadObject.

A consulta abaixo, rodando sobre esse layout bruto, é o exemplo exato da fonte:

sql
-- O anti-pattern: milhares de arquivos pequenos numa estrutura de partição profunda
SELECT count(*) FROM raw_logs WHERE event_date = '2023-10-01';

O mesmo count(*) sobre uma tabela compactada e com pruning de partição funcionando de verdade muda de categoria de problema:

sql
-- A abordagem otimizada: compactação e partition pruning
SELECT count(*) FROM optimized_logs WHERE event_date = '2023-10-01';

A diferença entre as duas não está na sintaxe, está em como os dados foram escritos no S3 antes da consulta existir.

O que você vai construir

Este guia monta uma tabela Apache Iceberg no AWS Glue Data Catalog, lida por Athena, para substituir um layout Hive-style de partições físicas (year=/month=/day=/hour=) por partição oculta gerenciada pelo próprio Iceberg. No fim, você terá uma tabela de logs com arquivos compactados na faixa de 128 MB a 512 MB e um procedimento de compactação (rewrite_data_files) pronto para rodar sob demanda ou agendado.

O objetivo não é reescrever o pipeline de ingestão inteiro, e sim desacoplar o layout físico do S3 da lógica de consulta no Athena, para que o pruning de partição funcione sem depender de caminhos de diretório rígidos.

Nota da redação: o código e os comandos desta seção não foram executados em ambiente real. Valide antes de usar em produção.

Pré-requisitos

  • Conta AWS com um bucket S3 já usado como landing zone de dados brutos (JSON ou Parquet).
  • Permissões IAM para o usuário ou role que vai rodar os passos, cobrindo leitura e escrita no bucket de origem e no de destino do Iceberg, além de criação e atualização de tabelas no Glue Data Catalog e execução de queries no Athena.
  • AWS Glue Data Catalog configurado como catálogo de metadados do Athena.
  • Athena configurado com um workgroup compatível com tabelas Iceberg via DDL padrão.
  • AWS CLI instalado, ou acesso ao console do Athena, para rodar as queries abaixo.

Passo a passo

  1. Meça o tamanho do problema antes de mexer em qualquer coisa. Liste os objetos de uma partição de amostra (pelo console do S3 ou AWS CLI) e observe a contagem de objetos e o tamanho médio. Se o tamanho médio estiver na casa de dezenas de KB e a contagem de objetos passar de centenas por partição, o anti-pattern da fonte está presente no seu lake.
  1. Crie a tabela Iceberg no Glue Data Catalog via Athena, usando partição oculta em vez de diretórios físicos:
sql
CREATE TABLE logs_iceberg (
  event_time timestamp,
  event_id string,
  payload string
)
PARTITIONED BY (days(event_time))
LOCATION 's3://my-data-lake/iceberg/logs/'
TBLPROPERTIES ('table_type' = 'ICEBERG');

Com days(event_time), o Iceberg passa a controlar o mapeamento físico dos arquivos através de um manifest, e você deixa de precisar gerenciar caminhos como year=/month=/day=.

  1. Aponte a escrita para a nova tabela. Se a ingestão hoje escreve direto no S3 via job de streaming, two caminhos cabem aqui: um job do AWS Glue que faz append incremental na tabela Iceberg, ou, se a exigência for latência de milissegundos entre evento e consulta, usar o Amazon Managed Service for Apache Flink para agregar os eventos antes de pousar no S3 (a própria fonte recomenda essa rota quando o custo de arquivo pequeno não pode ser aceito).
  1. Rode a compactação dos arquivos pequenos com o procedimento rewrite_data_files, mirando o tamanho-alvo de 128 MB:
sql
CALL system.rewrite_data_files(
  table => 'my_catalog.my_db.logs_iceberg',
  options => map('target-file-size-bytes', '134217728')
);

Esse comando roda como um job de compute (Athena, EMR ou Glue, dependendo de como você orquestra), lendo os arquivos pequenos existentes e reescrevendo-os em arquivos maiores e mais eficientes para scan.

  1. Agende a compactação como rotina, não como ação manual. Um job do AWS Glue rodando em intervalo fixo, dependendo do volume de ingestão, mantém o tamanho de arquivo dentro da faixa ideal sem exigir intervenção manual a cada pico de ingestão.

Hive-style vs. partição oculta do Iceberg

AspectoHive-style (diretórios)Iceberg (partição oculta)
Gerenciamento do caminho físicoManual, no LOCATION de cada partiçãoAutomático, via manifest
Custo de metadado por consultaCresce com o número de diretóriosResolvido pelo manifest, não pelo S3
CompactaçãoPrecisa de job externo customizadoNativa, via rewrite_data_files
Alteração de esquema de partiçãoExige reescrever toda a tabelaSuportada sem reescrever dados antigos

Nota da redação: duas afirmações deste artigo não puderam ser confirmadas na fonte original nem em documentação oficial da AWS consultada até o fechamento: a linha da tabela sobre evolução de esquema de partição no Iceberg sem reescrita de dados antigos, e a afirmação, mais abaixo, de que o Amazon Managed Service for Apache Flink cobra por capacidade provisionada mesmo sem tráfego. São comportamentos específicos de produto que exigiriam checagem na documentação oficial da AWS; trate-os como ponto a confirmar antes de decidir com base neles.

Testando

  • Rode o mesmo count(*) usado como exemplo, primeiro contra a tabela antiga (raw_logs) e depois contra logs_iceberg, filtrando pelo mesmo event_date ou event_time.
  • No console do Athena, abra os detalhes da execução da query e compare o campo Data scanned entre as duas; é esse número, não o tempo de relógio, que define a cobrança.
  • Verifique também o tempo total de execução: se a diferença de dados escaneados for pequena mas o tempo cair bastante, o ganho veio da redução de chamadas de metadado contra o S3, exatamente o gargalo descrito na fonte.
  • Depois de rodar a compactação do passo 4, repita a consulta e confirme que o número de arquivos físicos por partição caiu (visível via aws s3 ls --recursive no prefixo da tabela Iceberg).

Limpando os recursos

Para não deixar cobrança rodando depois de testar este padrão:

  • Apague os dados de teste no S3, tanto no prefixo raw_logs quanto no prefixo iceberg/logs/.
  • Apague a tabela logs_iceberg (e a antiga raw_logs, se era só de teste) do AWS Glue Data Catalog.
  • Remova qualquer role ou política IAM criada só para este teste.
  • Se você subiu um job do Amazon Managed Service for Apache Flink para o passo 3, pare e delete a aplicação, já que ela cobra por capacidade provisionada mesmo sem tráfego.

Próximos passos

O ajuste de layout resolve o sintoma de custo, mas vale monitorar o resultado com o tempo. Acompanhe o volume de dados escaneado por workgroup do Athena ao longo do tempo (pelo histórico de execuções no console ou por métricas do CloudWatch) e compare a tendência antes e depois da migração para Iceberg.

Se a tabela cresce rápido, vale automatizar a chamada ao job de compactação em intervalo fixo, em vez de rodar CALL system.rewrite_data_files manualmente. E, como lembra a própria fonte, a decisão de migrar não é automática: abaixo de 100 GB de dados totais, o overhead de manter manifests e rodar jobs de compactação pode custar mais do que o problema de arquivos pequenos que ele resolve.

Fonte

DEV Community — #aws: Is Your S3 Partitioning Strategy Silently Killing Your Athena Performance?

Fonte: DEV Community — #aws

Serviços neste textoS3Athena e Glue

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "Particionamento ruim no S3 encarece cada consulta no Athena" (https://awshub.com.br/comunidade/particionamento-ruim-no-s3-encarece-cada-consulta-no-athena).
Resumo: Pastas de data lake cheias de arquivos minúsculos fazem o Athena perder tempo lendo metadados em vez de dados, e isso vira custo real por consulta. O guia mostra como migrar para Apache Iceberg no Glue Data Catalog e compactar os arquivos sem reescrever o pipeline inteiro.
Serviços: S3, Athena e Glue

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.