RedshiftDados
Nível de dificuldade: Intermediário (3 de 5)
EMR Serverless Flex oferece desconto fixo de 60% para jobs Spark não urgentes
A AWS lançou o EMR Serverless Flex, opção que roda jobs batch do Apache Spark em capacidade sobressalente com desconto fixo, sem a instabilidade de preço do EC2 Spot.
Em números
- 60% de desconto fixo em vCPU-hora e GB-hora de memória para workers Flex, comparado ao preço do Standard
- 2 minutos é o aviso de reclamação que um worker em capacidade sobressalente recebe antes de ser retomado pela AWS
- 20 minutos é o prazo máximo para um executor se juntar ao driver; passado isso, o job falha
- 63% foi a economia observada pela AWS num benchmark de 103 queries baseado no TPC-DS, tanto a 1 TB quanto a 3 TB de dados
O que mudou
A AWS lançou o Amazon EMR Serverless Flex, uma nova opção de execução para jobs batch do Apache Spark dentro do Amazon EMR Serverless. Até então, todo job rodava no modo Standard: capacidade dedicada, início previsível, preço cheio. O Flex roda o mesmo job em capacidade sobressalente da região, equivalente ao que o EC2 Spot já oferecia para clusters EMR on EC2, mas com desconto fixo de 60% em vez do preço flutuante do Spot.
A diferença prática está em quem assume a responsabilidade pela resiliência. Em EMR on EC2 com Spot, o time de dados monta a diversificação de instâncias (m5, m5a, m5d, r5, r5a, r5d), configura YARN node labels para proteger o driver, ajusta timeout de decomissionamento e debuga falhas de capacidade manualmente. No Flex, isso tudo é automático: basta adicionar um parâmetro na submissão do job.
| Standard | Flex | |
|---|---|---|
| Preço | Integral | 60% de desconto fixo em vCPU-hora/GB-hora |
| Capacidade | Dedicada | Sobressalente (spare capacity) |
| Previsibilidade de início | Alta | Pode variar conforme disponibilidade |
| Driver | Standard worker | Sempre Standard worker (protegido) |
| Indicado para | Pipelines com SLA | Backfill, validação, relatórios noturnos |
Onde está disponível
A fonte não informa em quais regiões da AWS o EMR Serverless Flex está disponível, nem confirma se a região São Paulo (sa-east-1) já tem suporte. O post também não traz a data exata da publicação, apenas trata o lançamento como atual no AWS Big Data Blog. Quem depende da região São Paulo precisa checar a página de regiões do Amazon EMR antes de planejar a migração, já que o anúncio não cobre esse ponto.
Quanto custa
O modelo de preço do Flex é simples: os workers são cobrados por segundo, com mínimo de um minuto, aplicando um desconto fixo de 60% sobre vCPU-hora e memória GB-hora em relação ao Standard. O driver do Spark continua rodando num worker Standard e é cobrado no preço cheio, porque ele guarda o estado do job (o grafo de execução, o progresso dos stages e a atribuição de tarefas) e não pode ser interrompido.
A cobrança para quando um worker Flex é reclamado pela AWS. A própria fonte dá um exemplo: num job de 10 minutos com 20 workers Flex, se 3 forem reclamados aos 5 minutos, a cobrança é de 17 workers por 10 minutos e 3 workers por 5 minutos. O gasto Flex aparece como linha separada no AWS Cost Explorer e na fatura, e continua compatível com tags de alocação de custo por job.
O benchmark publicado pela AWS compara Standard e Flex num teste de 103 queries de suporte à decisão, derivado do TPC-DS em 1 TB e 3 TB, ambos na release emr-7.14.0:
| Escala | Execução | Tempo total | Custo estimado | Executores reclamados |
|---|---|---|---|---|
| 1 TB | Standard | 11,5 min | $5,68 | 0 |
| 1 TB | Flex | 12,3 min | $2,07 (64% de economia) | 1 |
| 3 TB | Standard | 12,4 min | $6,29 | 0 |
| 3 TB | Flex | 16,1 min | $2,32 (63% de economia) | 1 |
A própria AWS reforça que esse resultado não é generalizável:
As economias reais e a frequência de reclamações de capacidade vão variar conforme a carga de trabalho, a região e a capacidade sobressalente disponível no momento da execução.
The actual savings and frequency of reclamations will vary by workload, Region, and available spare capacity at the time of execution.AWS Big Data Blog
O preço está sempre no modelo da fonte (dólar, por vCPU-hora e GB-hora); não há conversão para real porque a AWS não publica cotação junto do anúncio.
Como começar
Flex é uma configuração de job, não um novo tipo de aplicação. Quem já tem uma aplicação EMR Serverless ativa só precisa adicionar o parâmetro --flex-execution na submissão via AWS CLI:
aws emr-serverless start-job-run \
--application-id <application-id> \
--execution-role-arn <job-role-arn> \
--flex-execution '{"enabled": true}' \
--job-driver '{
"sparkSubmit": {
"entryPoint": "s3://<bucket>/scripts/my-spark-job.py"
}
}'Pelo EMR Studio, o caminho é marcar a opção Enable Flex execution no formulário de submissão do job. Standard e Flex coexistem na mesma aplicação: dá para rodar o pipeline crítico em Standard e o backfill noturno em Flex sem criar uma segunda aplicação.
A AWS recomenda três práticas para tirar mais proveito do Flex:
- Evitar o início do job exatamente no topo da hora (rodar às 9h20 em vez de 9h00 reduz disputa por capacidade sobressalente)
- Programar jobs não urgentes para depois das 18h no horário da região ou nos fins de semana, quando há mais capacidade livre
- Habilitar o EMR Serverless Storage, que grava dados de shuffle em armazenamento remoto para que tarefas retentadas leiam o resultado já calculado em vez de recomputar etapas anteriores
O que muda para quem já usa
Para quem já rodava EMR Serverless só no Standard porque tinha workloads sensíveis a custo presos em clusters EC2 com Spot, o Flex fecha a lacuna que impedia a migração completa. Lake Formation, suporte a Graviton, integração com o Glue Data Catalog e os conectores de fonte de dados continuam funcionando sem alteração nos jobs Flex.
O caso mais direto para quem trabalha com Redshift é o pipeline de ETL que alimenta o data warehouse fora do horário de consulta: cargas noturnas via COPY, backfills de partições históricas e reprocessamentos de tabelas que dashboards só vão ler na manhã seguinte. Esses jobs raramente têm SLA de minuto e são exatamente o perfil que a AWS descreve como candidato ideal ao Flex.
O trade-off que a própria AWS documenta é de tempo, não de confiabilidade: no benchmark, o job Flex em 1 TB levou 7% mais tempo que o Standard, e em 3 TB a diferença subiu para 30%, porque o executor reclamado precisou recomputar tarefas. Todas as 103 queries terminaram nos dois cenários, sem nenhuma resubmissão manual de job. Quem decide adotar Flex para um pipeline de produção precisa medir essa variação de tempo antes de trocar, e a própria fonte recomenda rodar o workload real nos dois modos para estabelecer uma linha de base, já que a disponibilidade de capacidade sobressalente varia por região e por horário.
Fonte: AWS Big Data Blog
Serviços neste textoRedshift
Leve para a sua IA
Decida com o seu assistente, com o contexto deste texto já montado.
1. O que você quer saber
Ver o prompt
Li no AWS Hub: "EMR Serverless Flex oferece desconto fixo de 60% para jobs Spark não urgentes" (https://awshub.com.br/noticia/emr-serverless-flex-oferece-desconto-fixo-de-60-para-jobs-spark-nao-urgentes). Resumo: A AWS lançou o EMR Serverless Flex, opção que roda jobs batch do Apache Spark em capacidade sobressalente com desconto fixo, sem a instabilidade de preço do EC2 Spot. Fonte oficial: https://aws.amazon.com/blogs/big-data/introducing-amazon-emr-serverless-flex-run-non-urgent-spark-jobs-at-a-discount/ Serviços: Redshift Minha stack: [descreva em uma linha: serviços, linguagem, volume, região] Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?