AWS Glue passa a atualizar automaticamente a versão do Apache Spark nos jobs

O que mudou

AWS Glue agora oferece atualização automática de versão para jobs Apache Spark, recurso anunciado pela AWS em 12 de novembro de 2026. Ao definir a versão do job como Auto, o Glue passa a migrar o runtime para a versão mais recente suportada, sem que o time de plataforma precise coordenar manualmente cada atualização.

Antes do recurso, atualizar a versão do runtime Spark em um job Glue exigia planejamento: validar compatibilidade de código, testar contra o schema de saída, medir latência e volume de dados, e só então agendar a migração - processo que a AWS descreve como algo que levava semanas em fluxos tradicionais. Com o Auto Upgrades, esse ciclo roda dentro do próprio serviço.

O mecanismo inclui múltiplas camadas de validação: primeiro avalia a compatibilidade do job com o runtime mais novo; depois pede consentimento explícito antes de rodar o job numa versão mais recente; por fim, valida a execução atualizada contra o perfil de saída já estabelecido do job (schema, volume de dados, latência e formato). Jobs que exigem mudança de código continuam rodando na versão atual, e a AWS entrega uma análise de upgrade com correções específicas, aplicáveis diretamente ou via Apache Spark upgrade agent.

Fica como contexto para quem arquiteta esses pipelines: a motivação declarada pela AWS é manter patches de segurança, melhorias de performance e suporte à evolução de formatos de tabela como Apache Iceberg. Runtime desatualizado fica sem esses patches e sem suporte aos recursos mais novos do Iceberg.

Onde está disponível

O Auto Upgrades está disponível em todas as AWS Commercial Regions, segundo o anúncio - o que inclui a região América do Sul (São Paulo), sa-east-1, já que ela é classificada como região comercial padrão, fora do escopo GovCloud ou das regiões da China. A fonte não lista nenhuma exclusão de região.

Quanto custa

A fonte não traz uma tabela de preço específica para o Auto Upgrades, nem detalha o modelo de cobrança do AWS Glue para jobs Spark. O anúncio não menciona cobrança adicional pela validação ou pela migração de runtime em si.

Vale um cuidado prático antes de ativar Auto em escala: rodar um job de teste e acompanhar o consumo de DPU na primeira execução pós-upgrade, já que mudança de runtime pode alterar o plano de execução do Spark e, com isso, o tempo total e o custo do job.

Como começar

Para ativar, defina a versão do AWS Glue como Auto ao criar ou atualizar um job Apache Spark - pelo AWS Glue Studio, ou via AWS CLI, API e SDKs. Para quem administra uma frota grande de jobs, a AWS indica usar a AWS Glue skill para gerenciar e atualizar vários jobs de uma vez, em vez de alterar job por job no console.

1. No AWS Glue Studio, abra o job e, no campo de versão do Glue, selecione Auto;
2. Via CLI, API ou SDK, defina o parâmetro de versão equivalente ao criar ou atualizar o job;
3. Para frotas grandes, use a AWS Glue skill para aplicar a configuração em lote, sem precisar localizar cada dono de job.

O que muda para quem já usa

Para quem já opera jobs Glue em produção, o ganho mais direto é administrativo. Equipes de plataforma deixam de perseguir dono de job para coordenar upgrade de runtime, e times de negócio sem squad central de atualização passam a ficar em dia sem esforço.

Para quem mantém pipelines de engenharia de dados no Glue, o Auto Upgrades reduz o risco de ficar preso numa versão de runtime sem suporte - cenário que hoje deixa jobs expostos a vulnerabilidades conhecidas e bloqueia o uso de recursos novos do Apache Iceberg.

Fica em aberto, porque a fonte não detalha: quanto tempo passa entre o lançamento de um runtime novo e o início efetivo do upgrade nos jobs com Auto ativado, e se existe canal de notificação (como SNS ou EventBridge) avisando quando um job foi migrado ou ficou retido por incompatibilidade. Para quem monitora SLA de pipeline, vale acompanhar a documentação do Glue para esses detalhes operacionais antes de ligar Auto em jobs críticos sem um teste prévio.

Fonte: AWS What's New