AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

SageMakerIA Generativa

Nível de dificuldade: Intermediário (3 de 5)

SageMaker AI passa a monitorar automaticamente latência, GPU ociosa e configuração de endpoints de inferência

Por AWS Hub5 min de leitura

Em números

  • 200 ms foi o aumento semana a semana no tempo mediano até o primeiro token (time to first token) num dos exemplos de finding de latency drift mostrados pela AWS
  • 12% foi a utilização máxima registrada na GPU mais ocupada de um endpoint, na maior parte da semana, num finding de capacidade subutilizada
  • 3 tipos de instância candidatos foram testados num job de recomendação de exemplo, rodando em compute separado do endpoint de produção

O que mudou

O Amazon SageMaker AI agora monitora sozinho os endpoints de inferência de IA generativa e aponta quando vale a pena mudar configuração para ganhar performance ou cortar custo. O recurso se chama Generative AI optimized inference recommendations, acessado pela experiência agêntica (agentic experience) do Amazon SageMaker Studio.

O monitoramento vem ligado por padrão para endpoints que usam containers de serving vLLM em instâncias GPU, sem nenhuma configuração prévia. A AWS olha só sinais operacionais: latência (p50 de ponta a ponta e time to first token), utilização de GPU e a configuração de serving do endpoint. Não lê o conteúdo de requisições nem de respostas.

Daí saem cinco tipos de finding:

  • Latency drift: a latência mediana (p50) ou o time to first token sobem semana a semana
  • Unused capacity: GPUs pagas que ficam majoritariamente ociosas
  • Speculative decoding desligado: modelo e container suportam a técnica, mas ela está desativada
  • Serving container desatualizado: existe versão mais nova com ganho de performance e patches para CVEs críticas ou altas
  • Kernels de GPU não ajustados: a configuração de kernel não está otimizada para o modelo e o hardware

Onde está disponível

A fonte não lista as regiões habilitadas para o recurso. O que ela diz é que as notificações são específicas por região da AWS: você só vê os findings de um endpoint quando está logado na mesma região onde ele roda. Isso sugere que o monitoramento acompanha o endpoint onde quer que ele esteja, mas a AWS não confirma explicitamente se a região América do Sul (São Paulo), sa-east-1, está entre as cobertas.

Quem roda endpoints de inferência em São Paulo precisa verificar diretamente no console se o AWS Health já está reportando findings para a conta, já que a disponibilidade por região não foi detalhada no anúncio.

Quanto custa

O monitoramento em si não tem custo de GPU adicional. A AWS é direta nesse ponto: observar latência e uso de capacidade não gera cobrança extra, só agrega telemetria que o endpoint já produz.

Já rodar um benchmark a partir de um finding (o job de inference recommendation) usa a cobrança padrão do SageMaker AI, ou a reserva de ML (ML reservation) da conta, se houver uma. A fonte não traz valores por hora ou por job: o custo depende do tipo e da quantidade de instâncias candidatas testadas. Vale lembrar que o benchmark roda em compute separado do endpoint de produção, então ele soma ao gasto normal em vez de substituí-lo até você decidir aplicar o resultado.

Como começar

Monitorar não exige setup: já está ativo em endpoints elegíveis. Para agir sobre um finding, a AWS lista pré-requisitos:

  • Acesso ao console do AWS Health e ao AWS User Notifications
  • Um domínio do SageMaker Studio e permissões IAM para rodar jobs de inference recommendation e atualizar endpoints
  • Cota de serviço suficiente para as instâncias de benchmark que você quer testar

O fluxo, na prática:

  1. Um finding chega pelo AWS Health (console e e-mail), com o endpoint, o que foi observado, por que importa e uma ação recomendada
  2. Você escolhe Open in SageMaker AI, que abre um espaço JupyterLab no Studio com o prompt da experiência agêntica já preenchido
  3. Ao confirmar, o agente gera um notebook usando o SageMaker Python SDK, pega o modelo e o perfil de tráfego do próprio endpoint e marca o job com o ID do evento do AWS Health
  4. Cada célula do notebook é revisável antes de rodar; o job testa, por exemplo, três tipos de instância candidatos em paralelo
  5. Ao final, você compara tempo de resposta, throughput e custo por milhão de tokens entre a configuração atual e as alternativas

Um caso descrito no anúncio: um time mantém um modelo de code-completion interno num endpoint com configuração padrão. O modelo e o container suportam speculative decoding, mas a opção está desligada. O finding aponta isso, o benchmark compara com e sem a técnica no tráfego real do endpoint, e só então o time decide ativar ou manter como está.

Para não monitorar um endpoint específico, defina a variável de ambiente OPT_OUT_TRACKING (qualquer valor) no container do modelo, dentro do mapa Environment passado em CreateModel, seja em PrimaryContainer ou em outro container do modelo. Com essa variável presente, o SageMaker AI não coleta telemetria nenhuma daquele endpoint, nem métricas de engine, GPU ou configuração de startup, e para de enviar notificações sobre ele.

O que muda para quem já usa

Para quem já tem endpoint rodando com vLLM em GPU no SageMaker AI, o monitoramento liga sozinho, sem opt-in explícito, a menos que a equipe decida sair com OPT_OUT_TRACKING. É uma mudança de postura: antes, a deriva de configuração só aparecia quando o usuário reclamava de latência ou alguém notava a fatura; agora o AWS Health avisa de forma proativa, comparando o endpoint com o próprio histórico, sem precisar configurar threshold.

Nada muda em produção sem ação manual: o benchmark roda em compute separado, e aplicar um resultado é escolha explícita, de preferência começando por uma variant só, mantendo a configuração atual disponível para rollback. Para quem já mantém script próprio de alerta de custo ou performance, esse recurso nativo cobre parte do mesmo terreno sem custo de monitoramento, mas vale cruzar com o que já está em produção para evitar notificação duplicada. É possível ainda agendar recomendações recorrentes, por exemplo mensalmente, pelo console do AWS User Notifications.

Fonte: AWS Machine Learning Blog

Serviços neste textoSageMaker

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "SageMaker AI passa a monitorar automaticamente latência, GPU ociosa e configuração de endpoints de inferência" (https://awshub.com.br/noticia/sagemaker-ai-passa-a-monitorar-automaticamente-latencia-gpu-ociosa-e-configuraca).
Resumo: Um novo recurso do Amazon SageMaker AI compara cada endpoint com seu próprio histórico e manda um aviso pelo AWS Health quando a latência sobe, a GPU fica ociosa ou falta uma otimização disponível.
Fonte oficial: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-ai-now-detects-latency-drift-idle-gpus-and-missed-optimizations-on-your-inference-endpoints/
Serviços: SageMaker

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.