Aiven relata redução de custos com modelos abertos
A Aiven, provedora europeia de serviços de banco de dados open source sediada na Finlândia, afirma ter reduzido em cerca de 80% seus custos internos com tokens de IA ao migrar parte do uso para modelos de pesos abertos. Segundo Ville Lehto, vice-presidente de estratégia da empresa, o resultado foi observado especialmente entre os usuários de maior consumo.
paragraphs
Gateway interno combina modelos e controles de uso
Para tornar o uso desses modelos mais simples para desenvolvedores, a Aiven implementou um gateway interno. A estrutura foi construída em torno do framework open source LiteLLM, hospedado pela própria empresa, e recebeu recursos de orçamento, gestão de acesso e outros componentes open source.
A companhia executa modelos em GPUs alugadas e também faz hospedagem própria. Aiven informa que continua a usar modelos de fronteira para apoiar o planejamento do trabalho, enquanto a maior parte da execução é feita com modelos de pesos abertos.
Serviço planejado para clientes
A Aiven planeja oferecer o gateway como serviço aos clientes. O objetivo declarado é ajudar organizações a gerenciar custos de tokens, tornando mais fácil trocar modelos de pesos abertos dentro dos fluxos de trabalho.
A empresa aponta que o desempenho entre modelos de pesos abertos e modelos de fronteira varia e, por isso, considera também métricas como custo por tarefa, além do consumo de tokens.
Ponto de atenção para gestores
O caso relatado pela Aiven sugere que a gestão de custos de IA pode envolver tanto a escolha de modelos quanto controles de orçamento e acesso. Antes de alterar modelos em processos empresariais, é recomendável avaliar o custo por tarefa e a adequação do desempenho ao uso pretendido.