LLM Fine-Tuning Cost Calculator

LLM 微調整コスト計算ツールは、特定のデータで事前トレーニングされた言語モデルをカスタマイズするための総費用を見積もります。これには、トレーニングの計算、データの準備、検証、および微調整されたモデルの使用による継続的な推論コストの割増が含まれます。 OpenAI は、GPT-4o-mini 微調整のトレーニング トークン 100 万あたり 8 ドル、GPT-4o の場合 100 万あたり 25 ドルを請求します。通常、トレーニングはデータセット上で 3 ～ 4 エポック実行されます。つまり、トレーニング トークンの合計はデータセットのサイズにエポック数を乗算したものと等しくなります。 微調整は、プロンプト エンジニアリングだけでは目的の出力形式、トーン、または専門知識を達成できない場合に使用されます。一般的な使用例には、特定の出力スキーマに従う、ブランドの声に一致させる、法律や医学などの分野でのドメイン固有の用語を処理する、またはニッチな分類タスクのパフォーマンスを向上させるためのモデルのトレーニングが含まれます。微調整の決定は、1 回限りのトレーニング コストと継続的な推論プレミアムを比較した費用対効果分析に基づいて、多数のショット例を含む長いプロンプトを使用する代替案と比較する必要があります。 この計算ツールは、ML エンジニアと製品チームが、ユースケースに対して微調整が経済的に正当であるかどうかを判断するのに役立ちます。微調整された GPT-4o-mini モデルの費用は、推論に入力トークン 100 万件あたり 0.30 ドル、出力トークン 100 万件あたり 1.20 ドルで、基本モデルの価格の 2 倍です。微調整によってすべてのリクエストから 1,000 トークンの数ショット プロンプトを排除できる場合、入力トークンの削減により、トークンあたりのレートが高くても、実際に微調整されたモデルのリクエストあたりのコストが安くなる可能性があります。

DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.

1. 1システム、ユーザー、アシスタントのメッセージのペアを含む必要な JSONL 形式でトレーニング データセットを準備します。各例では、モデルに学習させたい動作を示す必要があります。 OpenAI では、最低 10 個のサンプルを推奨していますが、顕著な品質向上のためには 50 ～ 100 個のサンプルを推奨しています。高品質のトレーニング データを作成するには、作成、レビュー、検証に多大な人的労力が必要ですが、これがプロジェクトの微調整における隠れた最大のコストとなることがよくあります。
2. 2トレーニング データセットのトークン数を計算します。各トレーニング サンプルはトークン化され、すべてのサンプルの合計によってトレーニング コストが決まります。平均 500 個のトークンを含む 100 個のサンプルのデータセットは、合計 50,000 個のトークンになります。トレーニング コストはエポック (データセットを通過する完全なパス) の数にも依存し、OpenAI のデフォルトは 3 ～ 4 エポックです。トレーニング トークンの合計は、データセット トークンにエポックを乗算した値に等しくなります。
3. 3微調整するベースモデルを選択してください。 GPT-4o-mini の微調整には 100 万トレーニング トークンあたり 8 ドルの費用がかかり、ほとんどのユースケースに適しています。 GPT-4o の微調整には 100 万トレーニング トークンあたり 25 ドルの費用がかかり、最高のモデル機能を必要とするタスクのために予約されています。選択は、ベース モデル (微調整前) が適切なプロンプトを表示してタスクに十分対応できるかどうかに基づいて行う必要があります。
4. 4微調整ジョブを送信し、進行状況を監視します。データセットのサイズに応じて、トレーニングは通常 30 分から数時間で完了します。 OpenAI は、消費されたトレーニング トークンに対してのみ料金を請求し、追加のコンピューティング料金はかかりません。複数の微調整実験を実行してデータセットを反復することができ、実行ごとにトレーニング コスト全体が発生します。実稼働品質に達するまでに、3 ～ 5 回の実験実行の予算を立てます。
5. 5微調整されたモデルを、保持されたテスト セットに対して評価します。数ショットのプロンプトを使用して、精度、フォーマット準拠、出力品質を基本モデルと比較します。微調整されたモデルがプロンプトされた基本モデルを大幅に上回るパフォーマンスを示さない場合、トレーニング コストと継続的な推論プレミアムは正当化されません。微調整プロジェクトの約 30 ～ 40% は、よく作成されたプロンプトよりも意味のある改善をもたらしません。
6. 6進行中の推論コストプレミアムを計算します。微調整された GPT-4o-mini モデルの費用は、基本モデルの 0.15 ドルと 0.60 ドルと比較して、入力トークン 100 万件あたり 0.30 ドル、出力トークン 100 万件あたり 1.20 ドルです。この 2 倍のプレミアムは、出力品質の向上、プロンプトの長さの短縮 (数ショットのサンプルが不要)、または後処理の必要性の削減によって相殺される必要があります。毎月の推論コストの差をモデル化して、回収期間を決定します。
7. 7合計 ROI の計算を実行します。 1 回限りのトレーニング コスト、データ準備の労力、継続的な毎月の推論コストの差額を追加します。プロンプトが長い基本モデルまたはより高機能 (および高価な) の基本モデルを使用するという代替案と比較してください。品質の向上が顧客満足度、エラー率、処理効率などのビジネス指標に目に見える影響を与える場合、微調整への投資は正当化されます。

• !プロンプトエンジニアリングオプションを使い果たす前に微調整:
• !データ準備コストの過小評価:
• !継続的な推論コストプレミアムを忘れる: