EC2Computação
Nível de dificuldade: Especialista (5 de 5)
EC2 ganha métrica de GPU por minuto e checagem de performance de hardware
Em números
- 1 minuto: intervalo em que a Amazon EC2 passa a publicar métricas de GPU no CloudWatch, sem agente rodando dentro da instância
- 100%: limite de temperatura (térmico da GPU e da memória) acima do qual o chip reduz clock e perde desempenho
- 5º status check: o performance status check se junta a system, instance, attached EBS e application na suíte de verificações da EC2
O que mudou
A Amazon publicou no AWS Compute Blog dois recursos para instâncias EC2 de computação acelerada com GPU NVIDIA: métricas de GPU por minuto dentro do Amazon EC2 Detailed Monitoring e um novo performance status check. As métricas vão para o Amazon CloudWatch como CloudWatch Metrics ou como OpenTelemetry Metrics, à escolha de quem configura. O status check de performance, por sua vez, sinaliza condições recuperáveis de hardware, como um erro de memória de GPU, sem derrubar a instância.
O ponto central: nada disso roda dentro do sistema operacional convidado. A EC2 coleta e publica os dados fora do guest, sem consumir ciclo de computação da própria GPU. Isso complementa ferramentas in-guest como nvidia-smi ou DCGM, que continuam sendo necessárias para granularidade de processo, container ou pod do Kubernetes.
As métricas cobrem quatro frentes:
| Métrica | O que mede | Por que importa |
|---|---|---|
GPUUtilization | % do tempo em que a GPU executou algum trabalho | Detecta GPU totalmente ociosa |
instance.gpu.sm_utilization | Fração dos streaming multiprocessors realmente usados | Mostra se a GPU está "ocupada" mas sub-utilizada |
| Memory utilization | % da memória da GPU em uso | Avalia headroom de memória antes de um OOM |
GPUContextAccumulatedTime | Tempo acumulado com contexto de processo aberto na GPU, rodando ou não | Combinada com a expressão RATE(m1)/1000000, revela contexto preso aberto e ocioso |
Temperatura de GPU e de memória são reportadas como percentual do limite térmico, podendo passar de 100%. Utilização de NVLink e PCIe mostra o lado mais ocupado do tráfego (envio ou recebimento), útil para enxergar gargalo de interconexão em treinamento distribuído.
Onde está disponível
A fonte diz que os dois recursos estão disponíveis em tipos de instância de computação acelerada baseados em GPU NVIDIA suportados, remetendo à documentação do EC2 Detailed Monitoring para a lista por família. O texto não especifica regiões, e não há menção à região América do Sul (São Paulo), sa-east-1: a fonte não informa se a disponibilidade já chegou lá ou segue restrita a outras regiões. Antes de planejar o cluster de treino em São Paulo, vale checar a documentação de referência direto no console, porque esse tipo de telemetria costuma chegar primeiro às regiões com maior concentração de capacidade de GPU.
Quanto custa
A AWS não anuncia um preço novo para as métricas de GPU nem para o performance status check. O post afirma textualmente que "Metrics apply under standard Amazon CloudWatch pricing", ou seja, o custo segue o modelo padrão de métricas do CloudWatch, cobrado por métrica personalizada e por chamada de API, sem detalhar valor por GB ou por hora. Quem já paga por Detailed Monitoring de instância não ganha um item de fatura separado só por ativar as métricas de GPU: o que muda é o volume de métricas publicadas, que pode empurrar a conta de CloudWatch para cima em fleets grandes com muitas GPUs por instância.
Como começar
O fluxo passa por criar uma categoria de métrica (metric category), um recurso da EC2 que define qual conjunto de métricas será coletado, e depois associá-la a uma ou mais instâncias.
aws ec2 create-metric-category --metrics instance.gpu.utilization instance.gpu.sm_utilization instance.gpu.memory_utilizationCom o ID da categoria em mãos, dá para aplicar a instâncias já em execução:
aws ec2 monitor-instances --instance-ids <instance-id> --metric-category-ids <metric-category-id>Para instância nova, o ID entra direto no objeto Monitoring do run-instances, e para um fleet inteiro basta colocar a categoria no launch template:
aws ec2 create-launch-template --launch-template-name accelerated-computing-monitoring --launch-template-data '{"Monitoring":{"Enabled":true,"MetricCategoryIds":["<metric-category-id>"]}}'Uma categoria pode ser reaproveitada em várias instâncias ao mesmo tempo: muda a categoria uma vez, e a mudança se propaga (de forma eventualmente consistente) para todas as instâncias associadas, sem reconfigurar host por host.
Para acompanhar o performance status check, a chamada é a DescribeInstanceStatus:
aws ec2 describe-instance-status --instance-ids i-0123456789abcdef0E para automatizar a reação a uma falha, um alarme no CloudWatch sobre StatusCheckFailed_Performance:
aws cloudwatch put-metric-alarm --alarm-name performance-status-impaired-<instance-id> --namespace AWS/EC2 --metric-name StatusCheckFailed_Performance --dimensions Name=InstanceId,Value=<instance-id> --statistic Maximum --unit Count --period 60 --evaluation-periods 2 --threshold 1 --comparison-operator GreaterThanOrEqualToThreshold --alarm-actions <sns-topic-arn>Segundo a AWS, um alarme de CloudWatch Metrics Insights consegue avaliar uma única query sobre todas as instâncias de um fleet, o que evita criar um alarme por host.
O que muda para quem já usa
Para quem já opera cluster de treino ou inferência em GPU, o ganho prático está em dois fluxos de trabalho descritos no próprio post da AWS. No primeiro, uma equipe central de infraestrutura compara GPUUtilization e GPUPowerUtilization entre times de aplicação e descobre que um workload específico usa muito menos GPU do que workloads comparáveis, o que vira conversa de tuning com o time dono da aplicação, sem precisar entrar na instância.
No segundo fluxo, o alarme em StatusCheckFailed_Performance dispara quando a EC2 identifica, por exemplo, um remapeamento pendente de linha de memória da GPU. O passo recomendado é:
- confirmar a condição e a remediação com
DescribeInstanceStatus, que retornaimpairederemediation: reboot - fazer checkpoint do job em andamento, se aplicável
- drenar o node (
cordon/drainno Amazon EKS, ouDRAINno Slurm) e reiniciar a instância num momento planejado - conferir que o status check voltou a
okantes de devolver a capacidade ao pool
Uma alternativa ao reboot completo é resetar só a GPU afetada: rodar nvidia-smi -q -d ROW_REMAPPER para achar a GPU com Pending: Yes, parar os processos que a usam e então nvidia-smi -r -i <GPU_UUID> com permissão de root. Para quem está desenhando pipeline de observabilidade de GPU do zero, essa checagem elimina a necessidade de montar alarmes sobre dmesg ou logs do driver NVIDIA só para saber que uma instância precisa de reboot: o sinal agora vem nativo do EC2, ao lado dos status checks que já existiam.
Fonte: AWS Compute Blog
Serviços neste textoEC2
Leve para a sua IA
Decida com o seu assistente, com o contexto deste texto já montado.
1. O que você quer saber
Ver o prompt
Li no AWS Hub: "EC2 ganha métrica de GPU por minuto e checagem de performance de hardware" (https://awshub.com.br/computacao/ec2-ganha-metrica-de-gpu-por-minuto-e-checagem-de-performance-de-hardware). Resumo: A AWS acrescentou métricas de GPU por minuto ao EC2 Detailed Monitoring e criou um quinto status check para hardware acelerado. Dá para ver utilização, memória, temperatura e falhas recuperáveis sem instalar agente nem gastar ciclo de GPU com telemetria. Fonte oficial: https://aws.amazon.com/blogs/compute/monitor-the-efficiency-and-availability-of-accelerated-computing-instances-with-amazon-ec2-detailed-monitoring-and-performance-status-checks/ Serviços: EC2 Minha stack: [descreva em uma linha: serviços, linguagem, volume, região] Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?