LLM Fine-Tuning Cost Calculator

A calculadora de custos de ajuste fino LLM estima a despesa total de personalização de um modelo de linguagem pré-treinado em seus dados específicos, cobrindo computação de treinamento, preparação de dados, validação e o prêmio de custo de inferência contínuo do uso de um modelo ajustado. A OpenAI cobra US$ 8 por milhão de tokens de treinamento para o ajuste fino do GPT-4o-mini e US$ 25 por milhão para o GPT-4o. O treinamento normalmente dura de 3 a 4 épocas em seu conjunto de dados, o que significa que o total de tokens de treinamento é igual ao tamanho do conjunto de dados multiplicado pelo número de épocas. O ajuste fino é usado quando a engenharia imediata por si só não consegue atingir o formato de saída, o tom ou a experiência de domínio desejados. Os casos de uso comuns incluem modelos de treinamento para seguir esquemas de resultados específicos, corresponder à voz de uma marca, lidar com terminologia específica de domínio em áreas como direito ou medicina ou melhorar o desempenho em tarefas de classificação de nicho. A decisão de fazer o ajuste fino deve ser baseada em uma análise de custo-benefício comparando o custo único de treinamento mais o prêmio de inferência contínua com a alternativa de usar instruções mais longas com muitos exemplos de poucas tentativas. Esta calculadora ajuda os engenheiros de ML e as equipes de produto a decidir se o ajuste fino é economicamente justificado para seu caso de uso. Um modelo GPT-4o-mini ajustado custa US$ 0,30 por milhão de tokens de entrada e US$ 1,20 por milhão de tokens de saída para inferência, o dobro do preço do modelo básico. Se o ajuste fino permitir que você elimine um prompt de poucos disparos de 1.000 tokens de cada solicitação, os tokens de entrada reduzidos podem, na verdade, tornar o modelo ajustado mais barato por solicitação, apesar da taxa mais alta por token.

DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.

1. 1Prepare seu conjunto de dados de treinamento no formato JSONL necessário com pares de mensagens de sistema, usuário e assistente. Cada exemplo deve demonstrar o comportamento que você deseja que o modelo aprenda. A OpenAI recomenda um mínimo de 10 exemplos, mas sugere de 50 a 100 para melhorias de qualidade perceptíveis. Dados de treinamento de alta qualidade exigem um esforço humano significativo para criar, revisar e validar, o que costuma ser o maior custo oculto do ajuste fino de projetos.
2. 2Calcule a contagem de tokens do seu conjunto de dados de treinamento. Cada exemplo de treinamento é tokenizado e o total de todos os exemplos determina o custo do treinamento. Um conjunto de dados de 100 exemplos com uma média de 500 tokens cada totaliza 50.000 tokens. O custo do treinamento também depende do número de épocas (passagens completas pelo conjunto de dados), com o OpenAI padronizando de 3 a 4 épocas. O total de tokens de treinamento é igual a tokens do conjunto de dados multiplicados por épocas.
3. 3Selecione seu modelo básico para ajuste fino. O ajuste fino do GPT-4o-mini custa US$ 8 por milhão de tokens de treinamento e é adequado para a maioria dos casos de uso. O ajuste fino do GPT-4o custa US$ 25 por milhão de tokens de treinamento e é reservado para tarefas que exigem a mais alta capacidade do modelo. A escolha deve ser baseada em se o modelo básico (antes do ajuste fino) é capaz o suficiente para sua tarefa com avisos apropriados.
4. 4Envie o trabalho de ajuste fino e monitore o progresso. O treinamento normalmente é concluído em 30 minutos a várias horas, dependendo do tamanho do conjunto de dados. A OpenAI cobra apenas pelos tokens de treinamento consumidos, sem taxas de computação adicionais. Você pode executar vários experimentos de ajuste fino para iterar em seu conjunto de dados, com cada execução incorrendo no custo total de treinamento. Orçamento para 3 a 5 execuções experimentais antes de atingir a qualidade de produção.
5. 5Avalie o modelo ajustado em relação a um conjunto de testes retido. Compare a precisão, a conformidade de formato e a qualidade de saída com o modelo básico com solicitações de poucas fotos. Se o modelo ajustado não superar significativamente o modelo base solicitado, o custo de treinamento e o prêmio de inferência contínua não serão justificados. Aproximadamente 30 a 40 por cento dos projetos de ajuste fino não produzem melhorias significativas em relação a instruções bem elaboradas.
6. 6Calcule o prêmio de custo de inferência contínuo. Os modelos GPT-4o-mini ajustados custam US$ 0,30 por milhão de tokens de entrada e US$ 1,20 por milhão de tokens de saída, em comparação com US$ 0,15 e US$ 0,60 para o modelo básico. Esse prêmio de 2x deve ser compensado por melhorias na qualidade da saída, redução da duração do prompt (não há mais exemplos de poucas tomadas) ou redução da necessidade de pós-processamento. Modele a diferença mensal do custo de inferência para determinar o período de retorno.
7. 7Execute o cálculo do ROI total. Adicione o custo único de treinamento, o trabalho de preparação de dados e a diferença mensal contínua de custo de inferência. Compare com a alternativa de usar o modelo básico com prompts mais longos ou um modelo básico mais capaz (e caro). O investimento no ajuste fino é justificado quando a melhoria da qualidade impacta de forma mensurável as métricas de negócios, como satisfação do cliente, taxas de erro ou eficiência de processamento.

• !Ajuste fino antes de esgotar as opções de engenharia imediata:
• !Subestimando os custos de preparação de dados:
• !Esquecendo o prêmio de custo de inferência contínua: