Athena e GlueDados
Nível de dificuldade: Intermediário (3 de 5)
AWS lança agente de IA que otimiza jobs Spark no EMR Serverless e no Glue ETL
A AWS tornou disponível em caráter geral (GA) o Apache Spark optimization agent, um recurso que analisa execuções concluídas de jobs Spark no Amazon EMR Serverless e no AWS Glue ETL e devolve recomendações de tuning em minutos. A proposta ataca um gargalo conhecido de quem roda Spark em produção: investigar por que um job ficou lento ou caro exige vasculhar o Spark History Server, métricas de shuffle, tamanho de executor e distribuição de tasks, trabalho que normalmente recai sobre os poucos especialistas em Spark do time.
O agente está disponível sem custo adicional. Ele é acessado pela UI do EMR Studio, pela UI do AWS Glue Studio, ou por qualquer cliente compatível com MCP (como Kiro, Claude Code ou Codex) através do servidor remoto MCP do Amazon SageMaker Unified Studio, usando a ferramenta analyze_spark_workload.
Quem usa Glue ETL ganha um atalho que faltava
Para quem constrói jobs no AWS Glue, o fluxo começa no próprio console: na aba Runs de um job ETL, basta selecionar uma execução que terminou com sucesso e escolher Analyze with AI. No EMR Studio o caminho é parecido: selecionar a aplicação, escolher o job em Batch job e clicar em Analyze with AI.
Em ambos os casos você escolhe o objetivo, Performance ou Cost, e opcionalmente compara a execução atual com uma baseline, uma execução anterior que rodava dentro do esperado. O agente é somente leitura: ele não altera o código nem a configuração do job sozinho. Toda recomendação fica para você aplicar manualmente na próxima execução.
Duas formas de análise
O agente trabalha de dois jeitos, que cobrem situações diferentes do dia a dia de quem opera pipelines:
- Análise de uma única execução: o agente examina um job concluído e procura causas comuns de ineficiência, como data skew, pressão de memória, shuffle e spill em disco excessivos, workers super ou subdimensionados, estratégia de join ruim e arquivos pequenos demais no input.
- Comparação com baseline: quando um job que antes cumpria a meta passa a rodar mais devagar ou custar mais, você fornece a execução lenta e uma execução antiga que funcionava bem. O agente compara configuração, métricas e comportamento de stage entre as duas e aponta o que mudou.
Cada recomendação vem rotulada por tipo de mudança, o que ajuda a decidir o nível de revisão necessário antes de aplicar:
| Rótulo | O que muda | Nível de revisão |
|---|---|---|
[infra] | Capacidade pré-inicializada e máxima da aplicação EMR Serverless, tamanho de vCPU/memória do worker, ou tipo e número de workers no Glue | Não detalhado explicitamente pela fonte |
[config] | Parâmetros Spark como spark.sql.shuffle.partitions, spark.executor.memory ou ajustes de Adaptive Query Execution (AQE) | Pode ser validado na próxima execução |
[data] | Layout físico dos dados, como reparticionar uma tabela em outra chave ou compactar arquivos pequenos | Exige a mesma disciplina de teste de qualquer mudança em produção |
Uma mudança [data] altera o comportamento real do job ou os dados dos quais ele depende, por isso a AWS recomenda tratá-la como qualquer outra mudança de produção, com teste antes do deploy.
Como o agente chega às recomendações
O fluxo passa por cinco etapas: você declara a intenção em linguagem natural (performance ou cost), o console ou cliente MCP envia o ID da execução ao servidor remoto MCP, o agente lê a telemetria do Spark History Server, configuração, logs e custo via APIs sobre conexões TLS, um motor de recomendação combina investigações baseadas em regras com um modelo determinístico orientado à intenção e uma base de conhecimento, e você recebe recomendações rotuladas com a evidência por trás de cada uma.
Essa base de conhecimento reúne os parâmetros mais ajustados em milhões de jobs Spark rodados na AWS, segundo o post. A AWS afirma que o agente não usa dados de clientes para treinar ou construir essa base, e que há guardrails embutidos para PII, dados sensíveis, segurança e limites de custo.
Quando custo e tempo de execução entram em conflito, o agente otimiza para a métrica escolhida e mantém a outra dentro de uma tolerância definida: uma recomendação de custo pode deixar o job um pouco mais lento, mas não além da variação normal entre execuções. Para jobs maiores e mais caros, essa tolerância fica mais apertada.
O que a AWS mediu
A AWS testou o agente em centenas de workloads no EMR Serverless e no Glue ETL, incluindo benchmarks de indústria (derivados de TPC-DS e TPC-H) em várias escalas, além de workloads representativos compartilhados por clientes enterprise de Glue e EMR. Os resultados agregados, segundo o post:
| Workload | Melhora de custo | Melhora de performance |
|---|---|---|
| Agregado (100+ workloads) | 24-31% | 23-49% |
| TPC-DS 3 TB | 30-78% | 32-44% |
| TPC-H 3 TB | 10-64% | 19-33% |
A própria AWS pondera que a melhora real depende do workload, da configuração atual e da versão do EMR Serverless ou do Glue ETL em uso, então essas faixas são referência, não garantia.
Onde isso entra na rotina de quem trabalha com Glue e Athena
Quem passa o dia escrevendo e mantendo jobs ETL no Glue ganha, na prática, um segundo par de olhos que não depende de abrir manualmente o Spark UI toda vez que um job do pipeline noturno atrasa a entrega de um dashboard. Os prompts de exemplo da AWS são diretos: "My job is slow, how do I make this job faster?" para performance, ou "Reduce spend without impacting reliability" para custo, com o ID da execução (e da baseline, quando aplicável) passado ao cliente MCP.
Vale notar o recorte: o agente atua sobre jobs Spark do EMR Serverless e do Glue ETL, o motor por trás dos pipelines de transformação. O post da AWS cita o Athena apenas como link de navegação no rodapé, sem detalhar se ou como o recurso se estende a outros serviços. Em times que usam os dois serviços lado a lado, isso sugere um ganho concentrado na etapa de ETL que alimenta as tabelas que o Athena depois consulta.
Se um job falha em vez de só rodar devagar ou caro, existe um agente irmão no mesmo endpoint MCP: o Apache Spark troubleshooting agent analisa logs e eventos Spark da execução que falhou e explica a causa raiz em linguagem simples. Os dois compartilham servidor MCP, então quem já configurou o troubleshooting agent começa a usar o optimization agent sem nenhum setup adicional.
O que ainda fica em aberto
O post não detalha limites de tamanho de job, nem se há restrição de região (o anúncio não cita disponibilidade por região, incluindo sa-east-1). Também não fica claro quanto tempo a análise leva em jobs muito grandes, além da promessa genérica de "minutos". Antes de aplicar qualquer recomendação [data] em produção, a recomendação da própria AWS é validar em um ambiente de teste, já que mudanças de particionamento ou compactação de arquivos podem afetar outros jobs que leem a mesma tabela.
Fonte: AWS Big Data Blog
Serviços neste textoAthena e Glue
Leve para a sua IA
Decida com o seu assistente, com o contexto deste texto já montado.
1. O que você quer saber
Ver o prompt
Li no AWS Hub: "AWS lança agente de IA que otimiza jobs Spark no EMR Serverless e no Glue ETL" (https://awshub.com.br/noticia/aws-lanca-agente-de-ia-que-otimiza-jobs-spark-no-emr-serverless-e-no-glue-etl). Resumo: O Apache Spark optimization agent lê a telemetria de jobs do Amazon EMR Serverless e do AWS Glue ETL e devolve recomendações de configuração em minutos, sem exigir um especialista em Spark para cada ajuste. Fonte oficial: https://aws.amazon.com/blogs/big-data/introducing-the-apache-spark-optimization-agent-for-amazon-emr-serverless-and-aws-glue-etl/ Serviços: Athena e Glue Minha stack: [descreva em uma linha: serviços, linguagem, volume, região] Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?