AWS Glue 6.0 chega com preço 30% menor e suporte completo ao Apache Iceberg v3

O corte de preço que muda a conta do pipeline

A AWS anunciou a disponibilidade geral do AWS Glue 6.0 em todas as regiões onde o serviço opera, com uma redução de 30% no preço em relação às versões anteriores do Glue. O anúncio, assinado por Channy Yun no AWS News Blog, chega sem exigir nenhuma ação: o novo preço vale para crawlers e jobs de ETL, cobrados por segundo, no mesmo modelo de sempre.

A fonte não publicou o valor por DPU-hora região a região; o corte de 30% é relativo ao preço da versão anterior do Glue, então o efeito prático na fatura depende do que a sua conta já paga hoje. Para quem administra o orçamento de dados, vale conferir a página de preços do Glue antes de projetar a economia do mês. O modelo do Data Catalog não muda: fee mensal por armazenamento e acesso a metadados, com o primeiro milhão de objetos e o primeiro milhão de acessos gratuitos.

Runtime trocado por baixo: Spark 4.1, Python 3.13, Scala 2.13

O AWS Glue 6.0 roda sobre Apache Spark 4.1, Python 3.13 e Scala 2.13, um runtime totalmente modernizado que entrega mais performance. A mudança é no motor de execução, não na API: quem já escreve job em PySpark ou Scala continua usando o mesmo create-job/update-job da AWS CLI e do SDK, só trocando o parâmetro --glue-version para 6.0.

No AWS Glue Studio, a troca aparece na aba Job Details, escolhendo a opção "Glue 6.0 - Supports Spark 4.1, Scala 2, Python 3". Em notebook (Glue Studio notebook ou sessão interativa via Jupyter), o mesmo efeito vem do magic %glue_version com valor 6.0. Quem já usa Amazon SageMaker Unified Studio ou a IDE de preferência também aponta para a versão nova sem mudar código de orquestração.

Para job já em produção, a AWS oferece duas rotas: o Spark upgrade agent, para atualizar jobs existentes para a 6.0, e o auto-upgrade, que migra job existente automaticamente para a 6.0. Quem depende de biblioteca Python de terceiros fixada por versão, ou de UDF que explora comportamento específico do PySpark antigo, deve rodar o upgrade agent primeiro antes de migrar para produção.

Suporte completo ao Iceberg v3: o que isso destrava

O Glue 6.0 é construído sobre o Iceberg 1.11.0 e passa a implementar a especificação Iceberg v3 inteira, o que a AWS descreve como a implementação mais completa de Iceberg v3 em qualquer serviço Spark gerenciado totalmente serverless. O destaque é o tipo VARIANT com shredding, que consulta JSON, log e dado de evento sem achatar schema antes de gravar.

Quem mantém pipeline de ingestão de evento semiestruturado conhece o problema: normalizar schema antes da carga gera cópia duplicada, parser customizado e job que quebra toda vez que o schema de origem muda um campo. Com VARIANT shredding, o Glue guarda a estrutura variável como está e ainda ganha performance de leitura mais rápida que a de uma coluna string tradicional guardando o mesmo JSON cru.

Além do VARIANT, o Iceberg v3 no Glue 6.0 traz:

• Geometry e Geography: tipos nativos para processamento espacial, úteis em GIS, location intelligence e pipeline geoespacial direto no Spark gerenciado, sem converter coordenada para string ou array.
• Timestamp com precisão de nanossegundo: atende dado de sensor IoT, computação científica e workload financeiro de alta frequência que precisa de granularidade além do milissegundo.
• Unknown type handling: processa dado com schema inesperado ou em evolução sem derrubar o pipeline, dando resiliência contra mudança de schema que vem de upstream.

Uma ressalva que o anúncio não cobre: ele não diz se o Amazon Athena já lê coluna VARIANT shredded gravada pelo Glue 6.0 sem configuração extra. Antes de escrever tabela Iceberg v3 pensando em consulta via Athena, vale validar se o engine de consulta já suporta o spec v3 completo, porque escritor e leitor nem sempre evoluem no mesmo ritmo.

O que entra no Spark 4.1 além do Iceberg

O salto para Spark 4.1 traz três capacidades que mudam como se escreve e roda job, independente de usar Iceberg:

• Spark Declarative Pipelines: em vez de orquestrar manualmente a ordem de execução, o engenheiro declara como o dado final deve ficar e o motor decide a ordem e a otimização, reduzindo a complexidade de autoria do pipeline.
• Arrow-native Python UDFs e UDTFs: elimina a serialização entre Python e JVM, melhorando a performance de transformação PySpark complexa sem reescrever a função em Scala.
• Modo de streaming em tempo real: para caso de uso stateless, atinge latência de milissegundo de um dígito, construído sobre o Real-Time Mode do Spark 4.1 com execução otimizada pelo Glue, voltado a processamento de evento em tempo real e roteamento de dado sensível ao tempo.

Quando migrar e o que testar antes

Não há mudança de API para usar o Glue 6.0: o mesmo create-job/update-job, via AWS CLI, SDK, AWS Glue Studio, SageMaker Unified Studio ou IDE, já aceita a versão nova pelo parâmetro --glue-version. Isso facilita começar job novo direto na 6.0 para capturar o preço menor e o runtime mais rápido sem custo de migração.

Para job que já roda em produção, a conta muda de figura. Antes de ligar o auto-upgrade em lote, vale rodar o Spark upgrade agent em cada job crítico, revisar dependência Python fixada por versão e confirmar se downstream, como Athena ou outro motor que lê a mesma tabela Iceberg, já entende o Iceberg v3 completo. Quem trabalha na ponta de ETL com Glue e consulta com Athena ganha o par mais forte do catálogo da AWS para dado semiestruturado, mas o ganho só aparece de ponta a ponta se o leitor acompanhar o escritor.

Fonte: AWS News Blog, "AWS Glue 6.0 now available with 30% lower price and full Apache Iceberg v3 support" (https://aws.amazon.com/blogs/aws/aws-glue-6-0-now-available-with-30-lower-price-and-full-apache-iceberg-v3-support/)

Fonte: AWS News Blog