SageMaker AI adota particionamento de GPU com MIG da Nvidia para inferência em tempo real

O que mudou

O Amazon SageMaker AI inference agora suporta GPU partitioning para endpoints em tempo real, anunciado pela AWS em 30 de outubro de 2026. Usando a tecnologia Multi-Instance GPU (MIG) da Nvidia, o SageMaker AI divide uma GPU física em até sete partições isoladas, cada uma com sua própria memória e capacidade de computação.

Antes, quem servia modelos pequenos e médios, como variantes fine-tuned, modelos de embedding, rerankers e classificadores, precisava dedicar um acelerador inteiro a cada modelo. Uma instância hospedava no máximo tantos modelos quantas GPUs tivesse, e boa parte dessa capacidade ficava ociosa. Com o particionamento, você decide como dividir as GPUs por trás de um endpoint e encaixa cada modelo numa partição do tamanho certo para ele.

A isolação entre partições é garantida por hardware: um modelo sob carga pesada não consegue tomar memória nem throughput da partição vizinha. Isso é diferente de rodar múltiplos processos numa mesma GPU sem MIG, onde um modelo barulhento pode degradar os outros. O recurso é configurado na criação do endpoint que hospeda inference components, e cada modelo continua sendo chamado pelo nome: o código da aplicação não muda.

Onde está disponível

GPU partitioning funciona nas instâncias P4d, P5, G7 e G7e, nas regiões US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) e Europe (Ireland).

A região América do Sul (São Paulo), sa-east-1, não está na lista. Para quem opera no Brasil, isso significa que endpoints que precisam ficar em sa-east-1 por latência ou por exigência de residência de dados ainda não têm acesso ao recurso; a alternativa, por ora, é hospedar o endpoint particionado numa das regiões suportadas e aceitar a latência extra, ou aguardar expansão regional que a AWS não anunciou nesta nota.

Quanto custa

A nota do What's New não traz um preço separado para o particionamento: o custo continua sendo o preço por hora da instância (P4d, P5, G7 ou G7e) que já hospeda o endpoint. O ganho financeiro não vem de uma tarifa nova, e sim do melhor aproveitamento da capacidade que você já paga.

Na prática, quem antes precisava de uma instância P5 inteira só para um reranker de poucos gigabytes de parâmetros passa a dividir essa mesma GPU com um modelo de embedding e um classificador, por exemplo, pagando a mesma hora de instância para três cargas de trabalho em vez de uma. A fonte não detalha o preço de cada tipo de instância nem traz tabela comparativa de custo por partição.

Como começar

O particionamento é configurado no momento em que você cria um endpoint do SageMaker AI que hospeda inference components, não num endpoint tradicional de modelo único. A AWS não publicou nesta nota um comando de CLI ou parâmetro específico de configuração do MIG; o caminho indicado é a página de deployment do Amazon SageMaker AI e o Amazon SageMaker AI Developer Guide, onde fica o passo a passo de particionamento e de criação de inference components.

Para quem já trabalha com inference components (o mecanismo que o SageMaker usa para hospedar múltiplos modelos num mesmo endpoint), o fluxo deve ser familiar: você aponta cada modelo para uma partição ao criar a configuração do endpoint, e segue invocando cada um pelo nome do componente, sem alterar o client da aplicação.

O que muda para quem já usa

Para engenheiros de dados e times de IA generativa que já rodam endpoints de inferência em tempo real no SageMaker, o impacto mais direto é no planejamento de capacidade. Um time que hoje mantém uma GPU inteira dedicada a um modelo de embedding de poucos milhões de parâmetros pode reavaliar esse desenho e consolidar esse modelo com um reranker e um classificador na mesma P5, por exemplo, liberando orçamento para rodar mais experimentos ou treinar mais variantes fine-tuned.

O particionamento também muda o cálculo de qual geração de instância faz sentido: instâncias mais novas e mais caras, que antes pareciam superdimensionadas para um modelo pequeno, passam a ser viáveis quando divididas entre várias cargas. Vale lembrar que o recurso vale apenas para endpoints em tempo real construídos sobre inference components, nas instâncias e regiões listadas, e que times com endpoint em sa-east-1 seguem fora do alcance dessa otimização até a AWS anunciar expansão regional.

Fonte 1: AWS What's New (https://aws.amazon.com/about-aws/whats-new/2026/10/sagemaker-gpu-partitioning/)

Amazon SageMaker AI inference now supports GPU partitioning for real-time endpoints - AWS

Skip to main content

Amazon SageMaker AI inference now supports GPU partitioning for real-time endpoints

Posted on: Oct 30, 2026

Amazon SageMaker AI inference now supports GPU partitioning, enabling you to run several models on a single GPU instead of dedicating a whole accelerator to each one. Using NVIDIA Multi-Instance GPU (MIG) technology, SageMaker AI divides a GPU into as many as seven isolated partitions, each with its own memory and compute. Customers serving small and mid-size models, such as fine-tuned variants, embedding models, rerankers, and classifiers, previously had to give every model an entire accelerator, so an instance hosted no more models than it had GPUs and paid for GPU capacity those models could never use.

With GPU partitioning, you choose how to divide the GPUs behind your endpoint and place each model on a partition sized to fit it. Several models then share one accelerator with hardware-enforced isolation, so a busy model cannot take memory or throughput from the models beside it. Right-sizing an accelerator to a workload also opens up newer instance generations that would otherwise be more capacity than a single model needs. You configure GPU partitioning when you create an endpoint that hosts inference components, and you continue to invoke each model by name, so your application code doesn't change.

GPU partitioning is available on P4d, P5, G7, and G7e instances in US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt), and Europe (Ireland). To learn more, visit the Amazon SageMaker AI deployment page and see the Amazon SageMaker AI Developer Guide .

Fonte: AWS What's New