S3Comunidade
Nível de dificuldade: Avançado (4 de 5)
Particionamento ruim no S3 encarece cada consulta no Athena
Pastas de data lake cheias de arquivos minúsculos fazem o Athena perder tempo lendo metadados em vez de dados, e isso vira custo real por consulta. O guia mostra como migrar para Apache Iceberg no Glue Data Catalog e compactar os arquivos sem reescrever o pipeline inteiro.
Pastas de data lake cheias de arquivos minúsculos fazem o Athena perder tempo lendo metadados em vez de dados, e isso vira custo real por consulta. O guia mostra como migrar para Apache Iceberg no Glue Data Catalog e compactar os arquivos sem reescrever o pipeline inteiro.
Pastas de data lake cheias de arquivos minúsculos fazem o Athena perder tempo lendo metadados em vez de dados, e isso vira custo real por consulta. O guia mostra como migrar para Apache Iceberg no Glue Data Catalog e compactar os arquivos sem reescrever o pipeline inteiro.
Em números
- 128 MB a 512 MB: faixa de tamanho de arquivo Parquet/ORC considerada o ponto ideal para scan eficiente no Athena.
- 134.217.728 bytes (128 MB): valor literal usado no parâmetro
target-file-size-bytesdo procedimentorewrite_data_filesdo Iceberg. - 100 GB: abaixo desse volume total de dados, o overhead de manter manifests e rodar compactação no Iceberg costuma superar o ganho de performance.
- 1.000 arquivos: cenário citado na fonte para uma única partição de hora em um pipeline de logs, o que já basta para o Athena gastar mais tempo abrindo arquivos do que processando linhas.
O anti-pattern que ninguém vê na fatura
Todo engenheiro de dados que trabalha com AWS chega num ponto em que o bucket S3 deixa de ser uma landing zone simples e vira um data lake consultável. Começa com alguns arquivos JSON e, meses depois, são milhões de objetos espalhados em uma árvore de diretórios profunda. A suposição comum é que, por estar numa stack moderna, a performance se mantém constante. Segundo o artigo da DEV Community que origina esta pauta, ela não se mantém.
O Amazon Athena cobra pelo volume de dados escaneado, mas antes de escanear dado ele precisa resolver o split: abrir cada arquivo, ler seu metadado, decidir o que entra na consulta. Num layout particionado por year=/month=/day=/hour=, uma consulta de uma hora que caia sobre 1.000 arquivos pequenos obriga o motor a reconciliar 1.000 cabeçalhos de arquivo antes de processar uma única linha. Escalado para um ano de dados, isso vira milhões de chamadas de metadados contra o S3, incluindo ListObjectsV2 e HeadObject.
A consulta abaixo, rodando sobre esse layout bruto, é o exemplo exato da fonte:
-- O anti-pattern: milhares de arquivos pequenos numa estrutura de partição profunda
SELECT count(*) FROM raw_logs WHERE event_date = '2023-10-01';O mesmo count(*) sobre uma tabela compactada e com pruning de partição funcionando de verdade muda de categoria de problema:
-- A abordagem otimizada: compactação e partition pruning
SELECT count(*) FROM optimized_logs WHERE event_date = '2023-10-01';A diferença entre as duas não está na sintaxe, está em como os dados foram escritos no S3 antes da consulta existir.
O que você vai construir
Este guia monta uma tabela Apache Iceberg no AWS Glue Data Catalog, lida por Athena, para substituir um layout Hive-style de partições físicas (year=/month=/day=/hour=) por partição oculta gerenciada pelo próprio Iceberg. No fim, você terá uma tabela de logs com arquivos compactados na faixa de 128 MB a 512 MB e um procedimento de compactação (rewrite_data_files) pronto para rodar sob demanda ou agendado.
O objetivo não é reescrever o pipeline de ingestão inteiro, e sim desacoplar o layout físico do S3 da lógica de consulta no Athena, para que o pruning de partição funcione sem depender de caminhos de diretório rígidos.
Nota da redação: o código e os comandos desta seção não foram executados em ambiente real. Valide antes de usar em produção.
Pré-requisitos
- Conta AWS com um bucket S3 já usado como landing zone de dados brutos (JSON ou Parquet).
- Permissões IAM para o usuário ou role que vai rodar os passos, cobrindo leitura e escrita no bucket de origem e no de destino do Iceberg, além de criação e atualização de tabelas no Glue Data Catalog e execução de queries no Athena.
- AWS Glue Data Catalog configurado como catálogo de metadados do Athena.
- Athena configurado com um workgroup compatível com tabelas Iceberg via DDL padrão.
- AWS CLI instalado, ou acesso ao console do Athena, para rodar as queries abaixo.
Passo a passo
- Meça o tamanho do problema antes de mexer em qualquer coisa. Liste os objetos de uma partição de amostra (pelo console do S3 ou AWS CLI) e observe a contagem de objetos e o tamanho médio. Se o tamanho médio estiver na casa de dezenas de KB e a contagem de objetos passar de centenas por partição, o anti-pattern da fonte está presente no seu lake.
- Crie a tabela Iceberg no Glue Data Catalog via Athena, usando partição oculta em vez de diretórios físicos:
CREATE TABLE logs_iceberg (
event_time timestamp,
event_id string,
payload string
)
PARTITIONED BY (days(event_time))
LOCATION 's3://my-data-lake/iceberg/logs/'
TBLPROPERTIES ('table_type' = 'ICEBERG');Com days(event_time), o Iceberg passa a controlar o mapeamento físico dos arquivos através de um manifest, e você deixa de precisar gerenciar caminhos como year=/month=/day=.
- Aponte a escrita para a nova tabela. Se a ingestão hoje escreve direto no S3 via job de streaming, two caminhos cabem aqui: um job do AWS Glue que faz append incremental na tabela Iceberg, ou, se a exigência for latência de milissegundos entre evento e consulta, usar o Amazon Managed Service for Apache Flink para agregar os eventos antes de pousar no S3 (a própria fonte recomenda essa rota quando o custo de arquivo pequeno não pode ser aceito).
- Rode a compactação dos arquivos pequenos com o procedimento
rewrite_data_files, mirando o tamanho-alvo de 128 MB:
CALL system.rewrite_data_files(
table => 'my_catalog.my_db.logs_iceberg',
options => map('target-file-size-bytes', '134217728')
);Esse comando roda como um job de compute (Athena, EMR ou Glue, dependendo de como você orquestra), lendo os arquivos pequenos existentes e reescrevendo-os em arquivos maiores e mais eficientes para scan.
- Agende a compactação como rotina, não como ação manual. Um job do AWS Glue rodando em intervalo fixo, dependendo do volume de ingestão, mantém o tamanho de arquivo dentro da faixa ideal sem exigir intervenção manual a cada pico de ingestão.
Hive-style vs. partição oculta do Iceberg
| Aspecto | Hive-style (diretórios) | Iceberg (partição oculta) |
|---|---|---|
| Gerenciamento do caminho físico | Manual, no LOCATION de cada partição | Automático, via manifest |
| Custo de metadado por consulta | Cresce com o número de diretórios | Resolvido pelo manifest, não pelo S3 |
| Compactação | Precisa de job externo customizado | Nativa, via rewrite_data_files |
| Alteração de esquema de partição | Exige reescrever toda a tabela | Suportada sem reescrever dados antigos |
Nota da redação: duas afirmações deste artigo não puderam ser confirmadas na fonte original nem em documentação oficial da AWS consultada até o fechamento: a linha da tabela sobre evolução de esquema de partição no Iceberg sem reescrita de dados antigos, e a afirmação, mais abaixo, de que o Amazon Managed Service for Apache Flink cobra por capacidade provisionada mesmo sem tráfego. São comportamentos específicos de produto que exigiriam checagem na documentação oficial da AWS; trate-os como ponto a confirmar antes de decidir com base neles.
Testando
- Rode o mesmo
count(*)usado como exemplo, primeiro contra a tabela antiga (raw_logs) e depois contralogs_iceberg, filtrando pelo mesmoevent_dateouevent_time. - No console do Athena, abra os detalhes da execução da query e compare o campo Data scanned entre as duas; é esse número, não o tempo de relógio, que define a cobrança.
- Verifique também o tempo total de execução: se a diferença de dados escaneados for pequena mas o tempo cair bastante, o ganho veio da redução de chamadas de metadado contra o S3, exatamente o gargalo descrito na fonte.
- Depois de rodar a compactação do passo 4, repita a consulta e confirme que o número de arquivos físicos por partição caiu (visível via
aws s3 ls --recursiveno prefixo da tabela Iceberg).
Limpando os recursos
Para não deixar cobrança rodando depois de testar este padrão:
- Apague os dados de teste no S3, tanto no prefixo
raw_logsquanto no prefixoiceberg/logs/. - Apague a tabela
logs_iceberg(e a antigaraw_logs, se era só de teste) do AWS Glue Data Catalog. - Remova qualquer role ou política IAM criada só para este teste.
- Se você subiu um job do Amazon Managed Service for Apache Flink para o passo 3, pare e delete a aplicação, já que ela cobra por capacidade provisionada mesmo sem tráfego.
Próximos passos
O ajuste de layout resolve o sintoma de custo, mas vale monitorar o resultado com o tempo. Acompanhe o volume de dados escaneado por workgroup do Athena ao longo do tempo (pelo histórico de execuções no console ou por métricas do CloudWatch) e compare a tendência antes e depois da migração para Iceberg.
Se a tabela cresce rápido, vale automatizar a chamada ao job de compactação em intervalo fixo, em vez de rodar CALL system.rewrite_data_files manualmente. E, como lembra a própria fonte, a decisão de migrar não é automática: abaixo de 100 GB de dados totais, o overhead de manter manifests e rodar jobs de compactação pode custar mais do que o problema de arquivos pequenos que ele resolve.
Fonte
DEV Community — #aws: Is Your S3 Partitioning Strategy Silently Killing Your Athena Performance?
Fonte: DEV Community — #aws
Serviços neste textoS3Athena e Glue
Leve para a sua IA
Decida com o seu assistente, com o contexto deste texto já montado.
1. O que você quer saber
Ver o prompt
Li no AWS Hub: "Particionamento ruim no S3 encarece cada consulta no Athena" (https://awshub.com.br/comunidade/particionamento-ruim-no-s3-encarece-cada-consulta-no-athena). Resumo: Pastas de data lake cheias de arquivos minúsculos fazem o Athena perder tempo lendo metadados em vez de dados, e isso vira custo real por consulta. O guia mostra como migrar para Apache Iceberg no Glue Data Catalog e compactar os arquivos sem reescrever o pipeline inteiro. Serviços: S3, Athena e Glue Minha stack: [descreva em uma linha: serviços, linguagem, volume, região] Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?