SageMaker Inference passa a particionar GPUs NVIDIA com MIG em endpoints de produção

Desde 6 de novembro de 2026, o Amazon SageMaker Inference suporta Multi-Instance GPU (MIG) da NVIDIA em endpoints em tempo real, permitindo isolar modelos em fatias fixas de uma mesma GPU em vez de reservar o acelerador inteiro para cada implantação.

O que mudou

A AWS anunciou, em 6 de novembro de 2026, suporte a GPU Multi-Instance (MIG) da NVIDIA no Amazon SageMaker Inference. O recurso permite dividir um acelerador físico em partições com fatia fixa de unidades de processamento e bloco exclusivo de memória, isoladas por hardware, em vez de alocar a GPU inteira para cada modelo implantado.

Antes, quem usava endpoints de modelo único ficava limitado pelo número de GPUs da instância, mesmo quando cada modelo consumia pouca memória ou pouco processamento. Endpoints com vários modelos compartilhando um mesmo acelerador, por sua vez, sofriam atraso de carregamento no primeiro uso. Como cada modelo fica residente na sua partição, esse atraso desaparece.

O particionamento só funciona em endpoints em tempo real que usam componentes de inferência, o mecanismo do SageMaker para hospedar vários modelos num endpoint e controlar a capacidade de cada um. Não há suporte para endpoints de modelo único, endpoints sem servidor, grupos de instâncias heterogêneas nem invocação assíncrona.

No exemplo da própria AWS, uma ml.p4d.24xlarge com oito GPUs A100 foi dividida em perfis mig-4g.20gb, mig-2g.10gb e mig-1g.5gb, totalizando 24 partições disponíveis no endpoint. Quem chama o modelo continua usando InvokeEndpoint pelo nome do componente de inferência, sem precisar informar qual partição atende a requisição.

Onde está disponível

O recurso está disponível em sete regiões: Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Tóquio), Europa (Frankfurt) e Europa (Irlanda), sujeito à disponibilidade regional das instâncias e à cota de endpoint da conta.

A região América do Sul (São Paulo), sa-east-1, não está na lista. Quem opera SageMaker Inference no Brasil ainda depende de instâncias com GPU inteira por modelo até a AWS estender o particionamento MIG para sa-east-1.

Quanto custa

O modelo de cobrança não muda: o cliente continua pagando pela instância de GPU completa por hora, igual fazia antes do particionamento existir. Dividir o acelerador aumenta a capacidade utilizável da mesma instância, mas não reduz o preço cobrado por ela.

O ganho financeiro aparece na densidade de carga, não no preço unitário. No benchmark da AWS, comparando uma partição mig-3g.40gb de H100 com uma A100-40GB inteira rodando Llama-3.1-8B-Instruct, a redução no custo por milhão de tokens de saída ficou entre 18% e 34%, mas só acima de um ponto de equilíbrio específico para cada carga de trabalho.

Esse ponto de equilíbrio variou conforme o tamanho do prompt:

• Prompts de 100 tokens: ponto de equilíbrio em simultaneidade 64.
• Prompts de 8.000 tokens: ponto de equilíbrio em simultaneidade 4.

Abaixo desses níveis de simultaneidade, a A100 inteira seguiu mais barata. Isso torna o cálculo um exercício por carga de trabalho: quem atende tráfego baixo ou prompts curtos pode não ganhar nada particionando a GPU, e quem roda alta concorrência com contexto longo tende a se beneficiar.

Como começar

A ativação acontece por dois campos opcionais na API do SageMaker AI, sem novas operações de API, novos tipos de recurso ou novas ações de IAM:

1. AcceleratorPartitionLayouts declara o layout de particionamento na variante de produção do endpoint.
2. AcceleratorPartitionType seleciona, em cada componente de inferência, qual perfil de partição ele vai ocupar.

Se os dois campos forem omitidos, o endpoint se comporta exatamente como hoje, com GPU inteira por componente. O hardware compatível e o limite de partições por GPU variam por família de instância:

No P4d, o perfil mig-1g.10gb exige o driver NVIDIA R525 ou mais recente; a AMI de inferência padrão do SageMaker não traz esse driver, então é preciso usar uma AMI mais nova. Nos testes da AWS, particionar os aceleradores acrescentou cerca de 17 segundos ao tempo de provisionamento do endpoint.

Um componente que pede um perfil fora do layout declarado é rejeitado, em vez de receber a GPU inteira por padrão. Trocar o layout de um endpoint que já está em produção exige criar um endpoint novo e migrar o tráfego; mover um componente de inferência para outro perfil exige criar um componente novo, não dá para editar no lugar.

O que muda para quem já usa

Para quem já tem endpoints do SageMaker Inference em produção, nada muda automaticamente: o comportamento padrão é mantido se AcceleratorPartitionLayouts e AcceleratorPartitionType ficarem de fora da configuração. A mudança é opt-in.

Quem decidir adotar o particionamento perde parte da observabilidade atual. Endpoints e componentes de inferência particionados não publicam no CloudWatch métricas de utilização de GPU, CPU ou memória; só as métricas de invocação e latência continuam disponíveis. Isso complica diagnosticar gargalo de capacidade dentro de uma partição específica.

O isolamento por hardware cobre processamento e memória da GPU, mas não o host inteiro: modelos na mesma instância continuam compartilhando CPU, memória do host, armazenamento, rede e o roteamento do endpoint. Nenhuma partição cruza múltiplos aceleradores, então modelo que precisa de uma GPU inteira (ou de várias) continua exigindo dispositivo completo.

A Salesforce participou da definição de requisitos e da validação da implementação inicial. Richard Chang, arquiteto de engenharia de software da empresa, relatou que a expectativa interna é que o MIG consolide cargas de trabalho com segurança, aumente a utilização das GPUs e reduza custo de inferência mantendo desempenho previsível e isolamento; a Salesforce ainda está validando o software com cargas de produção representativas, então esses são resultados esperados, não medidos.

No benchmark comparativo da AWS, a partição H100 mig-3g.40gb entregou de 53% a 89% mais tokens de saída por segundo que uma A100-40GB inteira, com latência entre tokens de 8,9% a 42,1% menor e tempo até o primeiro token de 5,6% a 47,5% menor. Na simultaneidade máxima, com cargas de 6.000 e 8.000 tokens, a A100 inteira deixou de atender entre um terço e metade das solicitações dentro do prazo, enquanto a partição H100 não deixou nenhuma de fora.

Fonte: Unite.AI, "A AWS adiciona particionamento de GPUs NVIDIA aos endpoints de inferência do SageMaker" (https://www.unite.ai/pt/aws-adds-nvidia-gpu-partitioning-to-sagemaker-inference-endpoints/).

Fonte: Unite.AI