AWS HubAWS HubSão Paulo operando · 2 eventos no mundo

BedrockIA Generativa

Nível de dificuldade: Intermediário (3 de 5)

No Bedrock, Accenture reduz custo de tokens de 40% a 85% com seis alavancas sequenciadas

Por AWS Hub8 min de leitura

Preço por token no Amazon Bedrock vem caindo, mas a fatura de muita empresa não acompanha essa queda. O motivo é simples: tokens mais baratos destravam adoção, e workloads agênticos multiplicam invocações a cada handoff entre agentes. O resultado é que o consumo sobe mais rápido do que o preço unitário cai, e sem tags de alocação de custo a fatura de nuvem mostra gasto com IA como uma linha única, sem separar por time, workload, agente ou modelo.

Um post do AWS Machine Learning Blog descreve como a Accenture lidou com esse problema em quatro projetos de produção, nos setores de telecom, seguros, mineração e um grande cliente corporativo não identificado. A Linux Foundation lançou a Tokenomics Foundation para padronizar a economia de custo de IA, sinal de que o tema virou disciplina própria. O post organiza seis alavancas de otimização em três fases, do ajuste de configuração ao investimento em treinamento de modelo.

Antes de otimizar, saber quem gasta o quê

A Accenture começa pela atribuição, não pela técnica. Sem saber quem consome o quê, não dá para medir se uma mudança funcionou. O mecanismo recomendado são os Amazon Bedrock application inference profiles, um perfil por aplicação ou workload, com tags de time, centro de custo e ambiente. Depois de ativadas como tags de alocação de custo no console do AWS Billing and Cost Management, essas tags permitem rastrear qual time, aplicação ou agente está puxando a conta.

Três fontes de telemetria sustentam essa atribuição. O AWS Cost and Usage Reports (CUR 2.0), entregue via AWS Data Exports, quebra o custo de inferência faturado por workload e time depois que as tags estão ativas. O Amazon CloudWatch captura sinais operacionais como contagem de invocações e latência. O model invocation logging do Bedrock registra detalhe por requisição, incluindo modelo usado e contagem de tokens de entrada e saída.

Telemetria sozinha não fecha a conta para quem decide orçamento. Um engenheiro lê custo por invocação num dashboard, mas dono de produto precisa de uma métrica em termos de negócio. É para isso que a Accenture criou o Cost per Business Transaction (CpBT): ele soma todas as invocações de modelo, retries, chamadas de ferramenta e handoffs de agente que produzem um resultado de negócio bem-sucedido num único custo totalmente carregado. O CpBT expõe o custo real de um resultado, incluindo as tentativas que falharam e que o preço por token, isolado, esconde.

Seis alavancas, três fases

O objetivo não é minimizar tokens a qualquer custo, e sim usar o nível de inteligência certo para cada resultado de negócio, no custo, qualidade e risco apropriados. AWS e Accenture recomendam seguir as fases em ordem, aplicando cada uma primeiro nos workloads onde o impacto é maior.

Fase 1: só configuração

  • Prompt caching: o Bedrock reutiliza partes do prompt que se repetem entre requisições (instruções de sistema, definição de ferramentas, documentos de referência), guardando o estado key-value de prefixos já computados. Reduz o custo dos tokens de entrada em cache em até 90% nos modelos suportados.
  • Batch inference: processa workloads não urgentes em lote, de forma assíncrona, a 50% do preço on-demand para modelos elegíveis. A requisição vai como job e o resultado sai gravado no Amazon S3. Serve para relatório noturno, pipeline de documento e rodada de avaliação que não precisa de resposta imediata.

Nenhuma das duas exige mudança de arquitetura: prompt caching pede marcadores de checkpoint de cache no prompt, batch inference pede submeter a requisição como job em vez de chamar a API on-demand.

Fase 2: mudança de arquitetura

O intelligent prompt routing do Bedrock direciona cada requisição entre modelos da mesma família, casando a tarefa com o nível de inteligência que seu valor de negócio, complexidade e risco exigem, em vez de mandar tudo para o modelo mais caro por padrão. A AWS relata redução de custo de até 30% sem perda de acurácia; vale checar a página de preços do Bedrock para eventuais cobranças de roteamento.

A otimização de RAG ajusta a etapa de recuperação para que menos tokens de contexto desnecessário cheguem ao modelo, com chunking hierárquico, filtro por metadado e reranking. A Accenture soma dois padrões próprios a essa camada: context scoping, que limita cada agente ao recorte de documento relevante para seu passo (em vez de repassar o contexto inteiro do caso a cada handoff), e context compression, que resume ou filtra documentos antes de chegarem ao modelo. Em cadeias multiagente, os dois cortam volume de token de entrada de forma consistente.

Fase 3: infraestrutura e treinamento

O semantic caching guarda respostas e as reusa quando uma nova requisição é semanticamente parecida com uma já respondida, mesmo com palavras diferentes. Na AWS isso se implementa com um vector store, como o Amazon ElastiCache, na frente do modelo. Num benchmark da própria AWS com 63.796 consultas reais de chatbot, um limiar de similaridade de 0,90 produziu taxa de acerto de cache de 74,5%, acurácia de 92,3% e economia de custo de 72,5%. O post recomenda manter o Amazon Bedrock Guardrails em toda rota e configurar expiração do cache semântico, para o usuário não receber resposta desatualizada.

A destilação de modelo transfere conhecimento de um modelo maior (teacher) para um menor e mais rápido (student). Modelos destilados no Bedrock chegam a ser 500% mais rápidos e 75% mais baratos que o original, com perda de acurácia abaixo de 2% em casos de uso como RAG. É a alavanca que exige mais investimento, e só compensa em workload estável e de alto volume, onde o volume de transação justifica o custo de treinar.

Quatro clientes, quatro pontos de partida

A Accenture aplicou essas alavancas em quatro projetos reais, cada um com um padrão de gasto diferente. Em dois deles, várias mudanças foram aplicadas juntas, então o resultado reflete o efeito combinado, não de uma alavanca isolada.

ClientePonto de partidaAlavancas aplicadasResultado
Grande empresa (setor não revelado)Todo request ia para modelo frontier, sem cache, tiering ou batchModel tiering + prompt caching + batch processingCusto mensal de token caiu 85%; ~15% das tarefas ainda precisam do modelo mais forte
Operadora de telecomUS$ 12 milhões/ano em token, agentes sem limite de fan-outTriage routing + semantic caching + context compressionTokens de entrada caíram 70%; gasto anual foi de US$ 12 milhões para US$ 3,8 milhões (-68%)
SeguradoraPrompt repetitivo sem cachePrefix caching na camada do modeloParte dos ~40% combinados com o item abaixo
Operadora de mineraçãoConsultas repetidas chegando ao modeloSemantic cache na camada de aplicaçãoParte dos ~40% combinados com o item acima

A seguradora e a mineradora aplicaram uma única camada de cache cada, sem mudar roteamento de modelo nem investir em treinamento, e ainda assim somaram cerca de 40% de economia combinada. Isso mostra que nem toda economia relevante exige Fase 2 ou Fase 3: às vezes uma única alavanca de Fase 1 ou Fase 3 isolada, bem aplicada, já entrega resultado que justifica o esforço.

O post é explícito sobre o limite dessas comparações: resultados são específicos de cada workload e variam. A operadora de telecom validou a qualidade de saída contra benchmarks de desempenho anteriores à mudança, prática que vale como modelo para quem for reproduzir o processo.

Governança: quatro regras antes de tocar em qualquer alavanca

Em resumo, otimizar economia de IA em produção é um ciclo contínuo de custo, qualidade, risco e valor de negócio, não um ajuste técnico pontual.

O post lista quatro práticas que valem independente de qual alavanca ou fase está em jogo: estabelecer uma baseline quantitativa de custo e qualidade antes de qualquer mudança; validar qualidade de saída com conjuntos de avaliação extraídos do tráfego real de produção, não com benchmark sintético; aplicar uma alavanca por vez por workload, para conseguir atribuir o resultado a uma mudança específica e reverter se a qualidade cair abaixo do aceitável; e, em setor regulado como serviços financeiros, seguros ou saúde, documentar resultado de teste de qualidade e procedimento de rollback como parte do registro padrão de gestão de mudança.

Para quem constrói agente em produção, o Amazon Bedrock AgentCore entra como ambiente de suporte a esse ciclo: o AgentCore Evaluations oferece avaliação em lote (batch evaluation) para sustentar a validação de qualidade conforme o workload avança pelas fases mais sofisticadas.

Por onde começar

O post propõe três passos de entrada, nessa ordem: ativar tags de alocação de custo por time e workload nos Bedrock application inference profiles; ativar essas tags no console do AWS Billing and Cost Management e usar CUR 2.0 junto com model invocation logging para identificar os workloads de maior consumo, avaliando cada um por gasto, valor de negócio, exigência de qualidade, risco, volume e potencial de otimização; e aplicar prompt caching no tráfego interativo desse workload e batch inference nos seus jobs assíncronos como mudanças só de configuração, medindo o resultado antes de avançar para a Fase 2.

O AWS Well-Architected Agentic AI Lens traz um item específico para isso, o AGENTCOST02, dentro do pilar de otimização de custo para workloads agênticos, com um framework estruturado para aplicar essas alavancas em escala.

Um ponto que o post não detalha é a disponibilidade regional de cada recurso. Prompt caching, batch inference e intelligent prompt routing nem sempre chegam a todas as regiões no mesmo momento, então antes de levar qualquer uma dessas alavancas para produção em São Paulo (sa-east-1) vale conferir no console do Bedrock quais modelos e recursos já estão habilitados ali.

O maior risco de não seguir a ordem sugerida é misturar mudanças e perder a capacidade de atribuir o resultado a uma causa específica, exatamente o problema que a atribuição de custo deveria resolver em primeiro lugar. Para workload de baixo volume, o esforço de instrumentar tags, CpBT e avaliação pode superar a economia esperada, e nesses casos a Fase 1 isolada (prompt caching e batch inference) costuma bastar sem justificar o investimento das fases seguintes.

Fonte: AWS Machine Learning Blog

Serviços neste textoBedrockAgentes

Leve para a sua IA

Decida com o seu assistente, com o contexto deste texto já montado.

1. O que você quer saber

Ver o prompt
Li no AWS Hub: "No Bedrock, Accenture reduz custo de tokens de 40% a 85% com seis alavancas sequenciadas" (https://awshub.com.br/ia/no-bedrock-accenture-reduz-custo-de-tokens-de-40-a-85-com-seis-alavancas-sequenc).
Resumo: Um framework da Accenture publicado no AWS Machine Learning Blog organiza seis táticas de otimização de custo no Amazon Bedrock em três fases, da configuração simples ao treinamento de modelo menor, com resultados medidos em quatro clientes reais.
Fonte oficial: https://aws.amazon.com/blogs/machine-learning/optimize-ai-economics-on-amazon-bedrock-with-accentures-sequenced-approach/
Serviços: Bedrock, Agentes

Minha stack: [descreva em uma linha: serviços, linguagem, volume, região]

Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?

Newsletter semanal

A semana da AWS, em português

Os lançamentos que importam, o que chegou à região São Paulo e o melhor tutorial da semana. Toda sexta, gratuita.