AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

SageMakerIA Generativa

Nível de dificuldade: Intermediário (3 de 5)

Amazon SageMaker ganha capacidades de preparação de dados com IA, mas só nos EUA

Por AWS Hub6 min de leitura

O Amazon SageMaker AI incorporou rotulagem automática, geração de dados sintéticos e avaliação de qualidade ao fluxo de preparação de dados para fine-tuning e RL. A disponibilidade geral, por enquanto, está restrita a duas regiões nos Estados Unidos.

O gargalo antes do modelo

A AWS incorporou ao Amazon SageMaker AI um conjunto de capacidades batizado de AI Data Preparation, voltado a um problema que toda equipe de fine-tuning conhece: preparar dado de treino e avaliação costuma consumir mais tempo que treinar o modelo em si. Duplicata, ruído de rótulo e vazamento de resposta (quando a resposta certa aparece escondida no próprio exemplo de treino) só aparecem quando o treinamento decepciona, e cada técnica de customização espera o dado num formato diferente.

O recorte da AWS é direto: para tarefa bem definida e estreita, um modelo pequeno customizado com dado limpo e específico da tarefa costuma igualar ou superar um modelo generalista grande, com custo de inferência menor. O problema é que dado específico de tarefa é escasso, caro de rotular manualmente e muitas vezes esbarra em regra de privacidade.

Cinco blocos que você encaixa como quiser

As capacidades funcionam como peças independentes, chamadas pelo SDK Python do SageMaker ou por um agent skill de AI/ML que você conecta ao seu coding agent. Dá pra usar uma isolada ou encadear várias:

  • Auto-labeling: rotula em escala a partir de dado sem rótulo, de uma amostra pequena já rotulada, ou do zero. Cobre classificação, reconhecimento de entidade nomeada, question answering extrativo, avaliação ordinal e sumarização, além de tarefa customizada. Para tarefas com resposta fechada, um júri de vários modelos rotula cada linha e o grau de concordância vira o score de confiança daquela linha.
  • Human review: linha abaixo do limiar de confiança vai para uma fila de revisão no SageMaker Studio, que usa o Label Studio Community Edition. Especialista externo acessa pelo link do partner app; a correção do revisor realimenta o auto-labeling e gera relatório de consenso.
  • Synthetic data generation: gera dado de treino, avaliação e teste a partir de uma especificação, ancorado em seed data e documentos próprios. O serviço produz um pipeline de geração em código, revisável e reutilizável.
  • Data quality evaluation: checa o dataset contra regra de negócio própria, métrica embutida e métrica do tipo LLM-as-a-judge. Encontra duplicata, quase-duplicata, ruído de rótulo e vazamento de resposta.
  • Data transformation: limpa e reformata o dado para a técnica de treino alvo (SFT, DPO, RL). Dá pra descrever a mudança em linguagem natural e receber o código gerado, usar operação pronta como dedupe, merge, split e filter, ou rodar Python próprio em escala.

Um fluxo de ponta a ponta

O exemplo que a AWS usa no anúncio é de um time avaliando assistentes de suporte agentic. O guia do produto diz que um reset de fábrica apaga as configurações salvas, e o time quer testar se o assistente preserva esse aviso ao responder sobre reset.

  1. Definir requisito: fornecer o guia do produto como contexto e descrever as perguntas e respostas de referência necessárias, incluindo a regra de que resposta sobre reset de fábrica precisa manter o aviso sobre configurações salvas.
  2. Gerar e inspecionar amostra: gerar um lote pequeno, revisar os registros contra o guia e checar o código do pipeline gerado.
  3. Avaliar e revisar: rodar avaliação de qualidade, inspecionar os achados por registro e pedir a um especialista que revise resposta ambígua ou achado contestado.
  4. Aplicar mudança e repetir: revisar a especificação, transformar o dataset para resolver duplicata, gerar exemplo adicional onde faltar, e reavaliar antes de usar o dataset para avaliar o assistente.

O mesmo encadeamento serve para ir de documento bruto a modelo treinado: gerar dado sintético ancorado nos documentos, transformar no formato que SFT, DPO ou RL esperam, validar contra duplicata e vazamento, e só então treinar com customização de modelo do SageMaker AI.

Quem já usa: o caso Splunk

A Splunk, hoje parte da Cisco, usou a geração de dado sintético para treinar modelos de avaliação do produto Agent Observability. O desafio ali era específico de quem constrói modelo de avaliação (eval model) para agente: dataset diverso e de alta qualidade para tarefa muito estreita é difícil de curar.

Para o Splunk Agent Observability, nossa capacidade de treinar modelos de avaliação de IA generativa robustos depende de acesso a datasets diversos e de alta qualidade, difíceis de curar para tarefas muito específicas. As capacidades de geração de dados sintéticos do Amazon SageMaker AI estão nos ajudando de forma significativa a escalar essas capacidades. Conseguimos gerar datasets sintéticos estatisticamente representativos de forma confiável e rápida, preservando os padrões subjacentes dos quais nossos modelos dependem.

For Splunk Agent Observability, our ability to train robust GenAI Eval models relies on access to high-quality, diverse datasets which are hard to curate for very specific tasks. Amazon SageMaker AI data preparation capabilities for synthetic data generation is meaningfully helping us scale these capabilities. We've been able to generate statistically representative synthetic datasets reliably and fast, while preserving the underlying patterns our models depend on.Yash Sheth, Director of Engineering, Splunk Agent Observability

O que muda pra quem constrói com dados no Brasil

Em resumo: quem trabalha com customização de modelo no Bedrock ou com SageMaker AI model customization ganha um fluxo que substitui script caseiro de geração, rotulagem e validação, mas a disponibilidade geral hoje está limitada a US East (N. Virginia) e US West (Oregon). A AWS não cita sa-east-1 (São Paulo) no anúncio, nem menciona preço separado para as novas APIs de preparação de dados.

Isso tem implicação prática imediata: para usar o AI-ML agent skill ou as novas chamadas do SageMaker Python SDK para auto-labeling, geração sintética ou avaliação de qualidade, é preciso apontar o job para uma das duas regiões americanas, mesmo que o restante do pipeline (treino, endpoint de inferência, dado de produção) rode em São Paulo. Isso implica atenção redobrada a dado sensível sob LGPD: a AWS garante que os buckets do Amazon S3 com dado fonte, dataset gerado e rótulo ficam na região que o usuário escolhe para a execução, controlados por um IAM execution role próprio, mas essa região, por ora, não inclui o Brasil.

O que fica em aberto

A AWS não informou data de expansão para outras regiões nem cronograma de lançamento de preço específico para as operações de preparação de dados. Também não há, no anúncio, benchmark numérico de quanto tempo as capacidades economizam frente ao processo manual, nem SLA de latência para o auto-labeling em dataset grande. Quem for avaliar o fluxo precisa testar a especificação de rotulagem e o pipeline de geração de dado contra o próprio caso de uso, revisando o código gerado antes de escalar.

Fonte: AWS Machine Learning Blog

Serviços neste textoSageMaker

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "Amazon SageMaker ganha capacidades de preparação de dados com IA, mas só nos EUA" (https://awshub.com.br/noticia/amazon-sagemaker-ganha-capacidades-de-preparacao-de-dados-com-ia-mas-so-nos-eua).
Resumo: O Amazon SageMaker AI incorporou rotulagem automática, geração de dados sintéticos e avaliação de qualidade ao fluxo de preparação de dados para fine-tuning e RL. A disponibilidade geral, por enquanto, está restrita a duas regiões nos Estados Unidos.
Fonte oficial: https://aws.amazon.com/blogs/machine-learning/announcing-ai-data-preparation-capabilities-in-amazon-sagemaker-build-high-quality-datasets-for-model-development-workflows/
Serviços: SageMaker

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.