Casos de uso · · 2 min de leitura

ArisGlobal relata queda de 40% no gasto mensal de inferência com IA

A ArisGlobal relata redução aproximada de 40% no gasto mensal de inferência de IA ao reorganizar o uso de cache no Amazon Bedrock. O caso foi publicado pela AWS e usa métricas informadas pela cliente.

Fonte: AWS — https://aws.amazon.com/blogs/machine-learning/how-arisglobal-scaled-generative-ai-inference-on-amazon-bedrock

A empresa usa o motor NavaX para extrair informações de relatos de eventos adversos a medicamentos. Conforme novas exigências de clientes eram incorporadas, as instruções compartilhadas cresciam e precisavam ser processadas repetidamente.

A primeira configuração guardava em cache o documento de cada caso. A equipe passou a colocar primeiro as instruções estáveis e reutilizáveis, deixando os documentos variáveis depois do ponto de cache. Isso ampliou o reaproveitamento entre requisições.

Segundo o relato, 65% dos tokens de entrada passaram a ser atendidos pelo cache, com redução aproximada de 50% no custo efetivo de entrada. A economia mensal de 40% se refere ao gasto de inferência, não ao custo total da operação. A AWS ressalta que os resultados variam conforme a estrutura dos pedidos e o tráfego.

O que isso muda para a sua empresa

Análise NVS: quem repete instruções em muitas chamadas pode avaliar o potencial de reaproveitamento antes de trocar de modelo. O teste precisa medir a conta completa, acertos e isolamento entre clientes. Conteúdo específico de cada empresa deve continuar segregado; o caso não promete a mesma economia para outras operações.

ArisGlobalAWScustos de IAAmazon Bedrock

Consultoria de IA para empresas

Quer colocar IA para trabalhar no seu negócio, com método e resultado medido?

Diagnóstico dos processos, escolha das ferramentas certas (Claude, ChatGPT, Gemini, agentes no WhatsApp) e implantação com a sua equipe.

Continue lendo

Mais análises