AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

BedrockArquitetura

Nível de dificuldade: Intermediário (3 de 5)

AWS Lambda passa a suportar GPU para inferência de IA sem gerenciar infraestrutura

Por AWS Hub5 min de leitura

O Lambda Managed Instances ganhou suporte a instâncias EC2 da família G, permitindo inferência de machine learning dentro de funções evento-resposta sem provisionar driver, CUDA ou cluster Kubernetes.

Em números

  • 9,75% de taxa de gestão cobrada sobre o custo da instância GPU, além da tarifa de EC2
  • US$ 0,20 por milhão de requisições, a tarifa padrão de invocação do Lambda
  • 90 minutos de timeout estendido para invocações assíncronas e event source mapping
  • 32 GB de limite para imagem de container e para armazenamento efêmero por função

O que mudou

O AWS Lambda Managed Instances (LMI) passou a suportar instâncias EC2 da série G para rodar GPU dentro de Event Functions, segundo o AWS News Blog. Na prática, isso coloca inferência de machine learning, processamento de mídia e computação científica com GPU dentro do mesmo modelo de programação do Lambda, sem provisionar driver NVIDIA, sem reconciliar versão de CUDA e sem device plugin de GPU num cluster Kubernetes.

Uma função GPU-accelerated é publicada como imagem de container (OCI), apontando para um CapacityProviderConfig com GPU. Você informa os tipos de instância aceitos, por exemplo g5.2xlarge, g6.2xlarge e g6e.2xlarge, e o Lambda escolhe a opção mais barata disponível, caindo para outra geração se a capacidade estiver apertada.

A AWS disponibiliza imagens base curadas (base:cuda, pytorch:cuda, vllm:cuda, sglang:cuda) já com CUDA toolkit, PyTorch e Transformers resolvidos. O Dockerfile para servir um LLM via vLLM fica resumido a uma linha:

dockerfile
FROM public.ecr.aws/lambda/deep-learning-containers/vllm:cuda-v1

Você aponta a variável MODEL_ID para um repositório no Hugging Face, no ModelScope ou para um bucket no Amazon S3, e o runtime baixa os pesos e sobe um endpoint compatível com a API da OpenAI, sem escrever código de inferência.

Onde está disponível

O recurso cobre hoje as famílias G4dn, G5, G6, G6f, Gr6, Gr6f e G6e, com mais famílias prometidas para o futuro segundo o AWS News Blog. A fonte não informa se a região América do Sul (São Paulo), sa-east-1, já está na lista de regiões habilitadas para GPU no Lambda Managed Instances; quem depende dessa região precisa checar o console antes de planejar uma POC.

Quanto custa

O modelo de cobrança soma três componentes:

ComponenteValor
Tarifa da instância EC2 subjacentePreço padrão do tipo G escolhido, elegível a Savings Plans e Reserved Instances
Taxa de gestão GPU do Lambda Managed Instances9,75% sobre o custo da instância
Requisições do LambdaUS$ 0,20 por milhão de invocações

Para workloads esporádicos, essa conta ainda pode sair mais barata que manter um nó GPU ligado 24/7 num cluster EKS. Para carga constante e de alta utilização, a taxa de 9,75% sobre um g6e.2xlarge rodando o tempo todo pode superar o custo de operar um fleet próprio bem dimensionado, então vale fazer a conta antes de migrar.

Um detalhe fácil de esquecer no planejamento: contas novas começam com cota zero para "Running On-Demand G and VT instances". É preciso pedir aumento de cota antes de testar, e a análise da AWS pode levar horas ou dias.

Como começar

O fluxo documentado pela AWS para sair do zero até um endpoint funcional é:

  1. Criar o capacity provider informando os tipos de instância GPU aceitos
  2. Construir a imagem de container e subir para o Amazon ECR
  3. Criar a função apontando AcceleratorConfig.AcceleratorMemorySize (16 GB no exemplo da AWS)
  4. Publicar uma versão, momento em que o cold start acontece: os execution environments sobem, baixam os pesos do modelo e aquecem o motor de inferência
  5. Invocar a função já aquecida

No exemplo publicado pela AWS, o modelo usado foi o Qwen/Qwen2.5-1.5B-Instruct, e a invocação ficou assim:

bash
aws lambda invoke \
--function-name 'lmi-gpu-inference:$LATEST.PUBLISHED' \
--cli-binary-format raw-in-base64-out \
--payload '{"messages": [{"role": "user", "content": "Explain serverless GPU inference in one sentence."}], "max_tokens": 128}' \
/dev/stdout

Um parâmetro que vale configurar desde o início é o PerExecutionEnvironmentMaxConcurrency: ele faz o vLLM empacotar requisições concorrentes no mesmo processo, compartilhando uma cópia do modelo em memória de GPU. Quatro invocações simultâneas terminaram no mesmo tempo que uma única no teste da AWS, porque o batching decide se a GPU paga fica ociosa ou ocupada.

O que muda para quem já usa

Para quem já trabalha com Amazon Bedrock, o recurso não substitui o serviço: a própria AWS é direta ao dizer que o recurso é otimizado para inferência, não para treinamento, e para modelos customizados de porte pequeno a médio, não para os grandes foundation models já disponíveis no Bedrock. Se o caso de uso é consumir um modelo genérico, Bedrock continua sendo o caminho mais direto; GPU no Lambda compensa quando o modelo é seu, fine-tuned, ou é uma tarefa específica (classificação, extração, visão computacional, texto para fala) embutida numa aplicação maior.

A peça nova é a integração com o resto do modelo de programação do Lambda. As Lambda durable functions orquestram workflows multi-etapa com checkpoint ao redor do passo de GPU, e as Lambda MicroVMs rodam código gerado por modelo em sandbox isolado, chamando a função GPU só para a inferência. Isso é relevante para quem desenha agentes: a lógica de tool-use roda em CPU barato, e só a parte pesada sobe para GPU, dentro do mesmo timeout estendido de 90 minutos que já cobre transcodificação de mídia sem reescrever a arquitetura em torno do limite de 15 minutos do Lambda tradicional.

Quem roda hoje pipelines de inferência em cluster EKS dedicado para um modelo próprio ganha uma alternativa sem fleet de GPU para manter, driver para atualizar ou scaling policy para escrever. O trade-off é claro: para carga constante e alta utilização, a taxa de 9,75% pode inverter a conta a favor do cluster próprio, então vale medir o padrão de uso real antes de migrar uma carga de produção.

Fonte: iMasters

Serviços neste textoBedrockSageMaker

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "AWS Lambda passa a suportar GPU para inferência de IA sem gerenciar infraestrutura" (https://awshub.com.br/noticia/aws-lambda-passa-a-suportar-gpu-para-inferencia-de-ia-sem-gerenciar-infraestrutu).
Resumo: O Lambda Managed Instances ganhou suporte a instâncias EC2 da família G, permitindo inferência de machine learning dentro de funções evento-resposta sem provisionar driver, CUDA ou cluster Kubernetes.
Serviços: Bedrock, SageMaker

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.