AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

EC2Computação

Nível de dificuldade: Especialista (5 de 5)

EC2 ganha métrica de GPU por minuto e checagem de performance de hardware

Por AWS Hub5 min de leitura

Em números

  • 1 minuto: intervalo em que a Amazon EC2 passa a publicar métricas de GPU no CloudWatch, sem agente rodando dentro da instância
  • 100%: limite de temperatura (térmico da GPU e da memória) acima do qual o chip reduz clock e perde desempenho
  • 5º status check: o performance status check se junta a system, instance, attached EBS e application na suíte de verificações da EC2

O que mudou

A Amazon publicou no AWS Compute Blog dois recursos para instâncias EC2 de computação acelerada com GPU NVIDIA: métricas de GPU por minuto dentro do Amazon EC2 Detailed Monitoring e um novo performance status check. As métricas vão para o Amazon CloudWatch como CloudWatch Metrics ou como OpenTelemetry Metrics, à escolha de quem configura. O status check de performance, por sua vez, sinaliza condições recuperáveis de hardware, como um erro de memória de GPU, sem derrubar a instância.

O ponto central: nada disso roda dentro do sistema operacional convidado. A EC2 coleta e publica os dados fora do guest, sem consumir ciclo de computação da própria GPU. Isso complementa ferramentas in-guest como nvidia-smi ou DCGM, que continuam sendo necessárias para granularidade de processo, container ou pod do Kubernetes.

As métricas cobrem quatro frentes:

MétricaO que medePor que importa
GPUUtilization% do tempo em que a GPU executou algum trabalhoDetecta GPU totalmente ociosa
instance.gpu.sm_utilizationFração dos streaming multiprocessors realmente usadosMostra se a GPU está "ocupada" mas sub-utilizada
Memory utilization% da memória da GPU em usoAvalia headroom de memória antes de um OOM
GPUContextAccumulatedTimeTempo acumulado com contexto de processo aberto na GPU, rodando ou nãoCombinada com a expressão RATE(m1)/1000000, revela contexto preso aberto e ocioso

Temperatura de GPU e de memória são reportadas como percentual do limite térmico, podendo passar de 100%. Utilização de NVLink e PCIe mostra o lado mais ocupado do tráfego (envio ou recebimento), útil para enxergar gargalo de interconexão em treinamento distribuído.

Onde está disponível

A fonte diz que os dois recursos estão disponíveis em tipos de instância de computação acelerada baseados em GPU NVIDIA suportados, remetendo à documentação do EC2 Detailed Monitoring para a lista por família. O texto não especifica regiões, e não há menção à região América do Sul (São Paulo), sa-east-1: a fonte não informa se a disponibilidade já chegou lá ou segue restrita a outras regiões. Antes de planejar o cluster de treino em São Paulo, vale checar a documentação de referência direto no console, porque esse tipo de telemetria costuma chegar primeiro às regiões com maior concentração de capacidade de GPU.

Quanto custa

A AWS não anuncia um preço novo para as métricas de GPU nem para o performance status check. O post afirma textualmente que "Metrics apply under standard Amazon CloudWatch pricing", ou seja, o custo segue o modelo padrão de métricas do CloudWatch, cobrado por métrica personalizada e por chamada de API, sem detalhar valor por GB ou por hora. Quem já paga por Detailed Monitoring de instância não ganha um item de fatura separado só por ativar as métricas de GPU: o que muda é o volume de métricas publicadas, que pode empurrar a conta de CloudWatch para cima em fleets grandes com muitas GPUs por instância.

Como começar

O fluxo passa por criar uma categoria de métrica (metric category), um recurso da EC2 que define qual conjunto de métricas será coletado, e depois associá-la a uma ou mais instâncias.

bash
aws ec2 create-metric-category --metrics instance.gpu.utilization instance.gpu.sm_utilization instance.gpu.memory_utilization

Com o ID da categoria em mãos, dá para aplicar a instâncias já em execução:

bash
aws ec2 monitor-instances --instance-ids <instance-id> --metric-category-ids <metric-category-id>

Para instância nova, o ID entra direto no objeto Monitoring do run-instances, e para um fleet inteiro basta colocar a categoria no launch template:

bash
aws ec2 create-launch-template --launch-template-name accelerated-computing-monitoring --launch-template-data '{"Monitoring":{"Enabled":true,"MetricCategoryIds":["<metric-category-id>"]}}'

Uma categoria pode ser reaproveitada em várias instâncias ao mesmo tempo: muda a categoria uma vez, e a mudança se propaga (de forma eventualmente consistente) para todas as instâncias associadas, sem reconfigurar host por host.

Para acompanhar o performance status check, a chamada é a DescribeInstanceStatus:

bash
aws ec2 describe-instance-status --instance-ids i-0123456789abcdef0

E para automatizar a reação a uma falha, um alarme no CloudWatch sobre StatusCheckFailed_Performance:

bash
aws cloudwatch put-metric-alarm --alarm-name performance-status-impaired-<instance-id> --namespace AWS/EC2 --metric-name StatusCheckFailed_Performance --dimensions Name=InstanceId,Value=<instance-id> --statistic Maximum --unit Count --period 60 --evaluation-periods 2 --threshold 1 --comparison-operator GreaterThanOrEqualToThreshold --alarm-actions <sns-topic-arn>

Segundo a AWS, um alarme de CloudWatch Metrics Insights consegue avaliar uma única query sobre todas as instâncias de um fleet, o que evita criar um alarme por host.

O que muda para quem já usa

Para quem já opera cluster de treino ou inferência em GPU, o ganho prático está em dois fluxos de trabalho descritos no próprio post da AWS. No primeiro, uma equipe central de infraestrutura compara GPUUtilization e GPUPowerUtilization entre times de aplicação e descobre que um workload específico usa muito menos GPU do que workloads comparáveis, o que vira conversa de tuning com o time dono da aplicação, sem precisar entrar na instância.

No segundo fluxo, o alarme em StatusCheckFailed_Performance dispara quando a EC2 identifica, por exemplo, um remapeamento pendente de linha de memória da GPU. O passo recomendado é:

  • confirmar a condição e a remediação com DescribeInstanceStatus, que retorna impaired e remediation: reboot
  • fazer checkpoint do job em andamento, se aplicável
  • drenar o node (cordon/drain no Amazon EKS, ou DRAIN no Slurm) e reiniciar a instância num momento planejado
  • conferir que o status check voltou a ok antes de devolver a capacidade ao pool

Uma alternativa ao reboot completo é resetar só a GPU afetada: rodar nvidia-smi -q -d ROW_REMAPPER para achar a GPU com Pending: Yes, parar os processos que a usam e então nvidia-smi -r -i <GPU_UUID> com permissão de root. Para quem está desenhando pipeline de observabilidade de GPU do zero, essa checagem elimina a necessidade de montar alarmes sobre dmesg ou logs do driver NVIDIA só para saber que uma instância precisa de reboot: o sinal agora vem nativo do EC2, ao lado dos status checks que já existiam.

Fonte: AWS Compute Blog

Serviços neste textoEC2

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "EC2 ganha métrica de GPU por minuto e checagem de performance de hardware" (https://awshub.com.br/computacao/ec2-ganha-metrica-de-gpu-por-minuto-e-checagem-de-performance-de-hardware).
Resumo: A AWS acrescentou métricas de GPU por minuto ao EC2 Detailed Monitoring e criou um quinto status check para hardware acelerado. Dá para ver utilização, memória, temperatura e falhas recuperáveis sem instalar agente nem gastar ciclo de GPU com telemetria.
Fonte oficial: https://aws.amazon.com/blogs/compute/monitor-the-efficiency-and-availability-of-accelerated-computing-instances-with-amazon-ec2-detailed-monitoring-and-performance-status-checks/
Serviços: EC2

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.