AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

Arquitetura & MigraçãoArquitetura

Nível de dificuldade: Intermediário (3 de 5)

AWS Lambda passa a suportar GPU em Managed Instances, com 48 invocações dividindo uma GPU

Por AWS Hub7 min de leitura

Event Functions em Lambda Managed Instances já rodam em instâncias G-series da EC2, com até 48 invocações simultâneas compartilhando um único modelo carregado na GPU. O recurso resolve o problema de cold start de modelo, mas herda os limites de escala e a ausência de streaming que já marcavam o Managed Instances.

Event Functions em Lambda Managed Instances já rodam em instâncias G-series da EC2, com até 48 invocações simultâneas compartilhando um único modelo carregado na GPU. O recurso resolve o problema de cold start de modelo, mas herda os limites de escala e a ausência de streaming que já marcavam o Managed Instances.

Em números

  • 48 invocações concorrentes podem compartilhar uma única cópia do modelo carregado na memória de uma mesma GPU, dentro de um ambiente de execução
  • 9,75% é a taxa de gerenciamento cobrada sobre o preço On-Demand da instância EC2, menor que os 15% cobrados nas instâncias CPU do Managed Instances
  • 90 minutos é o timeout máximo permitido para invocações assíncronas e via event source mapping
  • 66 vezes mais rápido rodou um benchmark de PyTorch numa instância com GPU L4 (G6) do que na CPU da mesma instância, segundo teste independente da Classmethod

O que mudou

A AWS adicionou suporte a GPU nas Event Functions que rodam sobre Lambda Managed Instances. A função roda em instâncias EC2 das famílias G4dn, G5, G6, G6f, Gr6, Gr6f e G6e (as únicas aceitas no lançamento), é empacotada como imagem de container e é disparada pelos mesmos event sources de qualquer função Lambda comum.

Managed Instances existe desde dezembro de 2025 (noticiado pelo InfoQ na época) e já deixava o cliente escolher e pagar pela capacidade EC2, com a AWS cuidando de provisionamento, patch e escala, e várias invocações dividindo um mesmo ambiente de execução. GPU era a peça que faltava. Agora, até 48 invocações concorrentes num mesmo ambiente compartilham uma única cópia do modelo carregado na GPU, e o escalonamento passa a levar em conta utilização de GPU, utilização de CPU e concorrência.

Daniel Abib, senior specialist solutions architect da AWS, resume o que muda do lado operacional:

Você constrói uma imagem OCI, aponta a função para ela e deixa o Lambda cuidar do provisionamento, da escala e da integração de eventos. Não há drivers de GPU, versões de CUDA ou AMIs para reconciliar, nem clusters ou device plugins para operar.

You build an OCI image, point the function at it, and let Lambda handle provisioning, scaling, and event integration. There are no GPU drivers, CUDA versions, or AMIs to reconcile, and no clusters or device plugins to operate.Daniel Abib, senior specialist solutions architect, AWS

Abib também marca a diferença em relação a serviços serverless de GPU de outros provedores, que segundo ele "costumam ficar fora do seu ambiente AWS, sem event sources, identidade ou rede nativos".

Onde está disponível

O recurso está em disponibilidade geral (GA) nas regiões comerciais onde Managed Instances e as instâncias G-series coexistem. A fonte não lista as regiões nominalmente, então não há confirmação de que a região América do Sul (São Paulo), sa-east-1, atenda aos dois requisitos simultaneamente. Quem depende de baixa latência a partir do Brasil precisa checar a disponibilidade de Managed Instances com GPU diretamente no console antes de desenhar a arquitetura em cima dela.

Quanto custa

O preço segue o modelo que o Managed Instances já usava, com uma taxa de gerenciamento menor para GPU do que para CPU:

Tipo de instânciaTaxa de gerenciamentoCobrança por requisição
CPU (Managed Instances)15% sobre o preço On-DemandUS$ 0,20 por milhão
GPU (Managed Instances)9,75% sobre o preço On-DemandUS$ 0,20 por milhão

Savings Plans e Reserved Instances se aplicam normalmente à instância subjacente. Não há cobrança por duração de execução: a instância é faturada enquanto a contagem mínima de ambientes configurada estiver acima de zero, mesmo sem invocações ativas naquele intervalo.

Como começar

A função declara a memória de GPU necessária num novo bloco AcceleratorConfig, ao lado de memória, timeout, armazenamento efêmero e concorrência por ambiente:

json
"MemorySize": 16384,
"Timeout": 900,
"EphemeralStorage": { "Size": 32768 },
"Environment": { "Variables": { "MODEL_ID": "Qwen/Qwen2.5-1.5B-Instruct" } },
"CapacityProviderConfig": {
  "LambdaManagedInstancesCapacityProviderConfig": {
    "CapacityProviderArn": "arn:aws:lambda:us-east-2:111122223333:capacity-provider:lmi-gpu-cp",
    "ExecutionEnvironmentMemoryGiBPerVCpu": 4,
    "PerExecutionEnvironmentMaxConcurrency": 4
  }
},
"AcceleratorConfig": { "AcceleratorMemorySize": 16 }

Um capacity provider lista os tipos de instância permitidos, a VPC e um teto de vCPU; o Lambda escolhe a geração mais nova com capacidade disponível e recua para gerações anteriores quando necessário.

A AWS publica cinco imagens base de GPU: CUDA puro, CuPy, PyTorch, vLLM e SGLang. As duas últimas, servidores de inferência, não exigem código de handler: a variável MODEL_ID aponta para um repositório no Hugging Face, no ModelScope, um prefixo no S3 ou um caminho local, e trocar de modelo é mudar a configuração e publicar uma nova versão:

aws lambda update-function-configuration \
  --function-name my-gpu-function \
  --environment 'Variables={MODEL_ID=s3://amzn-s3-demo-bucket/models/Qwen2.5-1.5B-Instruct/,VLLM_LOAD_FORMAT=runai_streamer}'

Os limites do lançamento: imagens de container de até 32 GB, 32 GB de armazenamento efêmero, de 2 a 32 GB de memória, de 3 a 48 GB de memória de acelerador, 15.000 vCPUs por capacity provider e timeout de até 90 minutos para invocações assíncronas e via event source mapping. Publicar uma versão provisiona os ambientes, baixa os pesos e aquece o motor de inferência antes do primeiro evento chegar; o lazy loading via Seekable OCI pode cortar o tempo de start em até 70%.

O que muda para quem já usa

Testes independentes chegaram no dia seguinte ao anúncio. A Classmethod (usuário Akaike) testou todos os tipos de instância acelerada em us-east-1 e viu 37 de 81 aceitos, todos da família G; P-family, G7, Inferentia, Trainium e o g5g baseado em Graviton foram recusados, assim como pacotes zip. Um ponto de atrito real: a cota de vCPU de GPU numa conta nova é zero, e nem o Terraform nem o provider do Cloud Control reconheciam o bloco AcceleratorConfig até o momento do teste (há uma issue e um pull request abertos em 16 de novembro por um usuário identificado como sasidhar-aws).

Um segundo teste, de um AWS Community Builder identificado como xbill, rodou o modelo Gemma 4 E2B num único g6.2xlarge com a imagem vLLM, usando os pesos QAT de 4 bits do Google e um drafter de speculative decoding, numa imagem de 9 GB.

Um único ambiente atendeu as 48 requisições simultâneas e todas as 417 chamadas do teste tiveram sucesso, a cerca de 130 tokens por segundo numa requisição isolada e de 3.400 a 3.600 tokens por segundo com as 48 em paralelo. O atrito ficou no pipeline, não na GPU: 484 segundos entre publicar e ter uma versão ativa, e um handler que só devolve respostas completas, sem medir tempo até o primeiro token.

Para um modelo por trás de eventos, filas ou outros serviços da AWS, a função Lambda com GPU é o caminho mais simples: uma imagem, uma função, e o Lambda mantém o servidor vivo e roteia as requisições.

For a model behind events, queues or other AWS services, the Lambda GPU function is the simpler road: one image, one function, and Lambda keeps the server alive and routes the requests.xbill, AWS Community Builder

Dois limites seguem valendo para quem já opera Managed Instances e pensa em migrar workloads de inferência para lá. Primeiro, o recurso continua restrito a Event Functions: não alcança as Web Functions, o formato de servidor HTTP que o Lambda ganhou este ano, e a AWS não disse se vai estender o suporte. Segundo, a análise de dezembro de Yan Cui sobre o modelo de escala do Managed Instances segue valendo sem alteração para o caso com GPU:

Funções Lambda comuns conseguem escalar rapidamente porque usam um pool grande e compartilhado de instâncias EC2. Com managed instances, leva dezenas de segundos para lançar novas instâncias EC2. Por isso, não é uma boa opção quando há picos de tráfego grandes e imprevisíveis.

Regular Lambda functions can scale rapidly by tapping into a large, shared pool of EC2 instances. With managed instances, it takes tens of seconds to launch new EC2 instances. As such, it's not a good fit when you have large, unpredictable spikes in traffic.Yan Cui

Na prática, isso define o recorte de onde o recurso compensa: inferência por trás de uma fila ou de um event source com tráfego relativamente previsível, não um endpoint HTTP exposto a picos repentinos nem um caso que exija resposta em streaming token a token.

Fonte: InfoQ — Architecture & Design

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "AWS Lambda passa a suportar GPU em Managed Instances, com 48 invocações dividindo uma GPU" (https://awshub.com.br/noticia/aws-lambda-passa-a-suportar-gpu-em-managed-instances-com-48-invocacoes-dividindo).
Resumo: Event Functions em Lambda Managed Instances já rodam em instâncias G-series da EC2, com até 48 invocações simultâneas compartilhando um único modelo carregado na GPU. O recurso resolve o problema de cold start de modelo, mas herda os limites de escala e a ausência de streaming que já marcavam o Managed Instances.

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.