ما هو LLM Fine-Tuning Cost Calculator?
▾
تقدر حاسبة تكلفة الضبط الدقيق لـ LLM التكلفة الإجمالية لتخصيص نموذج لغة تم تدريبه مسبقًا على بياناتك المحددة، بما في ذلك حساب التدريب وإعداد البيانات والتحقق من صحتها وعلاوة تكلفة الاستدلال المستمر لاستخدام نموذج مضبوط بدقة. تتقاضى OpenAI 8 دولارات لكل مليون رمز تدريبي لضبط GPT-4o-mini و25 دولارًا لكل مليون لـ GPT-4o. يتم تشغيل التدريب عادةً لمدة تتراوح من 3 إلى 4 فترات على مجموعة البيانات الخاصة بك، مما يعني أن إجمالي رموز التدريب يساوي حجم مجموعة البيانات الخاصة بك مضروبًا في عدد العصور. يتم استخدام الضبط الدقيق عندما لا تتمكن الهندسة السريعة وحدها من تحقيق تنسيق الإخراج أو النغمة أو الخبرة في المجال المطلوب. تتضمن حالات الاستخدام الشائعة نماذج تدريب لمتابعة مخططات مخرجات محددة، أو مطابقة صوت العلامة التجارية، أو التعامل مع المصطلحات الخاصة بالمجال في مجالات مثل القانون أو الطب، أو تحسين الأداء في مهام التصنيف المتخصصة. يجب أن يستند قرار الضبط الدقيق إلى تحليل التكلفة والعائد الذي يقارن تكلفة التدريب لمرة واحدة بالإضافة إلى علاوة الاستدلال المستمر مقابل البديل المتمثل في استخدام المطالبات الأطول مع العديد من الأمثلة القليلة. تساعد هذه الآلة الحاسبة مهندسي تعلم الآلة وفرق الإنتاج على تحديد ما إذا كان الضبط الدقيق مبررًا اقتصاديًا لحالة الاستخدام الخاصة بهم. يتكلف نموذج GPT-4o-mini المضبوط بدقة 0.30 دولارًا أمريكيًا لكل مليون رمز إدخال و1.20 دولارًا أمريكيًا لكل مليون رمز إخراج للاستدلال، أي ضعف سعر النموذج الأساسي. إذا كان الضبط الدقيق يسمح لك بإزالة 1000 رمز مميز من كل طلب، فإن الرموز المميزة للإدخال المخفضة يمكن أن تجعل النموذج المضبوط بدقة أرخص لكل طلب على الرغم من ارتفاع معدل كل رمز مميز.
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
الصيغة
▾
إجمالي تكلفة الضبط الدقيق = الرموز المميزة لمجموعة بيانات التدريب × العصور × سعر التدريب لكل مليون رمز / 1,000,000 + تكلفة التحقق + عمالة إعداد البيانات. على سبيل المثال، ضبط GPT-4o-mini بدقة باستخدام 500000 رمز تدريب على مدار 3 فترات: تكلفة التدريب = 500000 × 3 × 8.00 دولارًا أمريكيًا / 1000000 = 12.00 دولارًا أمريكيًا. إذا استغرق إعداد البيانات 10 ساعات بتكلفة 75 دولارًا في الساعة، فإن إجمالي تكلفة المشروع = 12 دولارًا + 750 دولارًا = 762 دولارًا.شرح المتغيرات
▾
| رمز | الاسم | وحدة | الوصف |
|---|---|---|---|
| D | حجم مجموعة بيانات التدريب | tokens | إجمالي عدد الرموز المميزة عبر جميع أمثلة التدريب في مجموعة بيانات JSONL، ويتم حسابه كمجموع الرموز المميزة للنظام والمستخدم والرسائل المساعدة في كل مثال. |
| E | عصور التدريب | epochs | عدد مرات المرور الكاملة عبر مجموعة بيانات التدريب أثناء الضبط الدقيق، عادةً ما يكون من 3 إلى 4 لنماذج OpenAI، مع تعرض المزيد من العصور لخطر التجاوز في مجموعات البيانات الصغيرة. |
| P_train | سعر التدريب لكل مليون رمز | USD per 1M tokens | تبلغ تكلفة كل رمز مميز لحوسبة التدريب حاليًا 8 دولارات لكل مليون رمز مميز لـ GPT-4o-mini و25 دولارًا لكل مليون رمز مميز لضبط GPT-4o الدقيق. |
| P_inf | سعر الاستدلال المضبوط | USD per 1M tokens | تكلفة الاستدلال لكل رمز مميز للنموذج المضبوط بدقة، والتي عادةً ما تكون ضعف معدل النموذج الأساسي: 0.30 USD/1.20 USD للنموذج المضبوط بدقة GPT-4o-mini. |
| H | ساعات إعداد البيانات | hours | ساعات العمل البشرية المطلوبة لجمع بيانات التدريب وتنظيفها وتنسيقها ومراجعتها، والتي تمثل عادةً أكبر عنصر تكلفة في مشاريع الضبط الدقيق. |
| R | التشغيل التجريبي | runs | عدد تجارب الضبط الدقيق قبل الوصول إلى جودة الإنتاج، عادةً ما يكون من 3 إلى 5 تجارب مع تعديلات مجموعة البيانات والمعلمات الفائقة بين كل منها. |
كيفية LLM Fine-Tuning Cost Calculator
▾
- 1قم بإعداد مجموعة بيانات التدريب الخاصة بك بتنسيق JSONL المطلوب مع أزواج رسائل النظام والمستخدم والمساعد. يجب أن يوضح كل مثال السلوك الذي تريد أن يتعلمه النموذج. توصي OpenAI بما لا يقل عن 10 أمثلة ولكنها تقترح 50 إلى 100 لتحسين الجودة بشكل ملحوظ. تتطلب بيانات التدريب عالية الجودة جهدًا بشريًا كبيرًا لإنشاءها ومراجعتها والتحقق من صحتها، وهو ما يمثل غالبًا أكبر تكلفة خفية لمشاريع الضبط الدقيق.
- 2احسب عدد الرموز المميزة لمجموعة بيانات التدريب الخاصة بك. يتم ترميز كل مثال تدريبي، ويحدد الإجمالي في جميع الأمثلة تكلفة التدريب الخاصة بك. مجموعة بيانات مكونة من 100 مثال بمتوسط 500 رمز مميز لكل منها إجمالي 50000 رمز مميز. تعتمد تكلفة التدريب أيضًا على عدد العصور (المرور الكامل عبر مجموعة البيانات)، مع تعيين OpenAI افتراضيًا على 3 إلى 4 فترات. إجمالي الرموز المميزة للتدريب يساوي الرموز المميزة لمجموعة البيانات مضروبة في العصور.
- 3حدد النموذج الأساسي الخاص بك للضبط الدقيق. تبلغ تكلفة الضبط الدقيق لـ GPT-4o-mini 8 دولارات لكل مليون رمز تدريبي، وهي مناسبة لمعظم حالات الاستخدام. تبلغ تكلفة ضبط GPT-4o 25 دولارًا لكل مليون رمز تدريبي، وهي مخصصة للمهام التي تتطلب أعلى قدرة نموذجية. يجب أن يعتمد الاختيار على ما إذا كان النموذج الأساسي (قبل الضبط الدقيق) قادرًا بما يكفي للقيام بمهمتك مع المطالبة المناسبة.
- 4أرسل مهمة الضبط الدقيق وراقب التقدم. يكتمل التدريب عادةً خلال 30 دقيقة إلى عدة ساعات حسب حجم مجموعة البيانات. تفرض OpenAI رسومًا فقط على رموز التدريب المستهلكة، دون أي رسوم حسابية إضافية. يمكنك إجراء العديد من تجارب الضبط الدقيق للتكرار على مجموعة البيانات الخاصة بك، مع تحمل كل عملية تشغيل تكلفة التدريب الكاملة. الميزانية لمدة 3 إلى 5 عمليات تجريبية قبل الوصول إلى جودة الإنتاج.
- 5قم بتقييم النموذج المضبوط بدقة مقابل مجموعة اختبار محتجزة. قارن الدقة والتوافق مع التنسيق وجودة المخرجات بالنموذج الأساسي من خلال المطالبة بعدد قليل من اللقطات. إذا لم يتفوق النموذج المضبوط بشكل كبير على النموذج الأساسي المطلوب، فلن يكون هناك ما يبرر تكلفة التدريب وعلاوة الاستدلال المستمر. ما يقرب من 30 إلى 40 بالمائة من مشاريع الضبط الدقيق لا تنتج تحسينات ذات معنى على المطالبات المصممة جيدًا.
- 6حساب قسط تكلفة الاستدلال المستمر. تكلف نماذج GPT-4o-mini المضبوطة بدقة 0.30 دولارًا أمريكيًا لكل مليون رمز إدخال و1.20 دولارًا أمريكيًا لكل مليون رمزًا مميزًا للمخرجات، مقارنة بـ 0.15 دولارًا أمريكيًا و0.60 دولارًا أمريكيًا للنموذج الأساسي. يجب تعويض هذا التميز المضاعف من خلال تحسينات في جودة المخرجات، أو تقليل طول الرسالة (لا مزيد من الأمثلة القليلة اللقطات)، أو تقليل الحاجة إلى المعالجة اللاحقة. نموذج فرق تكلفة الاستدلال الشهري لتحديد فترة الاسترداد.
- 7إجراء حساب إجمالي عائد الاستثمار. أضف تكلفة التدريب لمرة واحدة، وعمالة إعداد البيانات، وفرق تكلفة الاستدلال الشهري المستمر. قارن هذا بالبديل المتمثل في استخدام النموذج الأساسي مع مطالبات أطول أو النموذج الأساسي الأكثر قدرة (والمكلفة). يتم تبرير الاستثمار في الضبط الدقيق عندما يؤثر تحسين الجودة بشكل ملموس على مقاييس الأعمال مثل رضا العملاء أو معدلات الخطأ أو كفاءة المعالجة.
أمثلة محلولة
▾
تكلفة حساب التدريب هي الحد الأدنى عند 2.88 دولارًا أمريكيًا مقابل 360.000 رمزًا تدريبيًا مميزًا. التكلفة الحقيقية هي 15 ساعة من إعداد البيانات لتنظيم 200 نموذج بريد إلكتروني عالي الجودة. وهذا أمر نموذجي بالنسبة لمشاريع الضبط الدقيق حيث يهيمن إعداد البيانات على الميزانية.
يتطلب الضبط الدقيق للمجال الطبي بيانات تدريب يراجعها الخبراء، مما يجعل إعداد البيانات مكلفًا. تستهلك الأمثلة الـ 500 التي تحتوي على 1200 رمز مميز لكل منها على مدى 4 فترات 2.4 مليون رمز تدريب بسعر 25 دولارًا لكل مليون. على الرغم من ارتفاع معدل كل رمز مميز، إلا أن تكلفة حساب التدريب لا تزال ضئيلة مقارنة بوقت الخبراء السريريين اللازم لإعداد البيانات.
بالنسبة لمهام الامتثال للتنسيق البسيط، غالبًا ما يكون 50 مثالًا كافيًا. تكلفة التدريب أقل من 1 دولار. يمكن للنموذج المضبوط بدقة أن يزيل مطالبة مخطط JSON المكونة من 500 رمز مميز من كل طلب، مما يوفر 0.075 دولارًا لكل 1000 طلب على GPT-4o-mini. عند 100000 طلب شهري، فإن توفير الاستدلال البالغ 7.50 دولارًا أمريكيًا شهريًا يسدد استثمارًا بقيمة 375 دولارًا أمريكيًا في 50 شهرًا، لذلك من المرجح أن تكون الهندسة السريعة أكثر فعالية من حيث التكلفة هنا.
تطبيقات عملية
▾
تقوم شركات التجارة الإلكترونية بضبط GPT-4o-mini لإنشاء أوصاف المنتج بصوت وتنسيق علامة تجارية محددة. يقوم بائع التجزئة الذي لديه 50000 منتج بإنشاء 200 مثال للوصف، وإجراء الضبط الدقيق مقابل 3 دولارات أمريكية في الحوسبة بالإضافة إلى 1500 دولار أمريكي في وقت مؤلف الإعلانات لإعداد البيانات، ثم يقوم بإنشاء جميع الأوصاف البالغ عددها 50000 وصفًا باستخدام النموذج المضبوط بدقة مقابل 10 دولارات أمريكية تقريبًا في الاستدلال. إن البديل المتمثل في كتابة كل وصف يدويًا بسعر 5 دولارات لكل منتج سيكلف 250 ألف دولار، مما يؤدي إلى خفض التكلفة بنسبة 99.4 بالمائة.
تعمل شركات الرعاية الصحية على تحسين النماذج لتنظيم الملاحظات السريرية في تنسيقات موحدة مثل SOAP (ذاتي، موضوعي، تقييم، خطة). تقوم إحدى الشركات الناشئة في مجال التكنولوجيا الصحية بإعداد 500 نموذج تدريبي تمت مراجعته من قبل الخبراء بتكلفة قدرها 5000 دولار أمريكي في وقت الطبيب، والتدريب مقابل 60 دولارًا أمريكيًا، ونشر النموذج لمعالجة 50000 ملاحظة سريرية شهريًا. ويحقق النموذج المضبوط بدقة تنسيقًا بنسبة 95 بالمائة مقارنة بنسبة 78 بالمائة مع الهندسة السريعة وحدها، مما يبرر الاستثمار.
تعمل شركات الخدمات المالية على تحسين نماذج تصنيف الامتثال التنظيمي، وتدريب النموذج على تحديد المتطلبات التنظيمية المحددة في العقود والمراسلات. يقوم فريق الامتثال بإنشاء 300 مثال مشروح على مدار 4 أسابيع بتكلفة قدرها 12000 دولار أمريكي في وقت المحلل، والتدريب مقابل 15 دولارًا أمريكيًا، ونشر النموذج لفحص 200000 اتصال شهريًا. يرصد النموذج المضبوط مشكلات الامتثال بنسبة 40 بالمائة أكثر من النموذج الأساسي من خلال المطالبة القياسية.
تقوم شركات البرمجيات بضبط GPT-4o-mini لإنشاء تعليمات برمجية وفقًا لاتفاقيات إطار العمل المحددة ومعايير الترميز. يقوم فريق النظام الأساسي بإنشاء 150 مثالًا لتحويلات التعليمات البرمجية باتباع دليل الأسلوب الخاص بهم، وإجراء الضبط الدقيق مقابل 2 دولار، ودمج النموذج في أدوات المطورين الخاصة بهم. أبلغ المطورون عن انخفاض عدد انتهاكات دليل الأسلوب بنسبة 30 بالمائة في التعليمات البرمجية المقترحة بواسطة الذكاء الاصطناعي، مما يقلل دورات مراجعة التعليمات البرمجية بمعدل 15 دقيقة لكل طلب سحب.
حالات خاصة
▾
عند الضبط الدقيق للدعم متعدد اللغات، يجب أن تتضمن بيانات التدريب أمثلة بجميع اللغات المستهدفة.
إن النموذج الذي تم ضبطه بدقة على الأمثلة الإنجليزية فقط لن يطبق السلوك المتعلم بشكل موثوق على اللغات الأخرى. بالنسبة للنشر بـ 10 لغات، تحتاج إلى ما يقرب من 50 إلى 100 مثال لكل لغة، مما يزيد من تكلفة إعداد البيانات بمقدار 10 أضعاف. ضع في اعتبارك ما إذا كان موجه النظام متعدد اللغات المصمم جيدًا قد يحقق نتائج قابلة للمقارنة بدون تكلفة تدريب قبل الالتزام بالضبط الدقيق متعدد اللغات.
بالنسبة للتطبيقات المهمة للسلامة في مجالات الرعاية الصحية أو التمويل أو المجالات القانونية،
بالنسبة للتطبيقات المهمة للسلامة في مجالات الرعاية الصحية أو التمويل أو المجالات القانونية، تتطلب النماذج المضبوطة بدقة فريقًا أحمر مكثفًا والتحقق من صحتها قبل النشر. تكلفة عملية التحقق هذه (من 50 إلى 200 ساعة من مراجعة خبراء المجال بسعر 100 إلى 300 دولار في الساعة) يمكن أن تتجاوز تكلفة الضبط الدقيق نفسها بمقدار 10 إلى 50 مرة. تعتبر الميزانية المخصصة لهذا التحقق عنصرًا إلزاميًا لأي مشروع ضبط دقيق في الصناعات الخاضعة للتنظيم، وليس كوظيفة إضافية اختيارية.
عند استخدام الضبط الدقيق لتقليل طول الرسالة (استبعاد أمثلة اللقطات القليلة)،
عند استخدام الضبط الدقيق لتقليل طول الرسالة (استبعاد أمثلة اللقطات القليلة)، احسب نقطة التعادل بعناية. إذا كانت تكلفة الضبط الدقيق 500 دولارًا إجماليًا وإزالة 800 رمزًا مميزًا لأمثلة قليلة من كل طلب، فإن التوفير لكل طلب على GPT-4o-mini هو 0.00012 USD لرموز الإدخال. أنت بحاجة إلى 4.17 مليون طلب لتحقيق التعادل، أو ما يقرب من 347000 طلب شهريًا على مدار عام. إذا كان حجم التداول الخاص بك أقل من هذا الحد، فإن أسلوب الجرعات القليلة يكون أكثر اقتصادا على الرغم من المطالبات الأطول.
تسعير الضبط الدقيق لـ OpenAI (2025)
▾
| نموذج | التدريب (لكل مليون رمز) | إدخال الاستدلال | إخراج الاستدلال | المدخلات الأساسية | الناتج الأساسي |
|---|---|---|---|---|---|
| جي بي تي-4o-ميني | 8.00 دولار | 0.30 دولار/1 مليون | 1.20 دولار/1 مليون | 0.15 دولار/1 مليون | 0.60 دولار/1 مليون |
| جي بي تي-4o | 25.00 دولارًا | 3.75 دولار/1 مليون | 15.00 دولار/1 مليون | 2.50 دولار/1 مليون | 10.00 دولار/1 مليون |
| جي بي تي-3.5-تيربو | 8.00 دولار | 3.00 دولار/1 مليون | 6.00 دولار/1 مليون | 0.50 دولار/1 مليون | 1.50 دولار/1 مليون |
أسئلة شائعة
▾
كم عدد الأمثلة التدريبية التي أحتاجها؟
توصي OpenAI بما لا يقل عن 10 أمثلة ولكنها تقترح 50 إلى 100 لتحسين الجودة بشكل مفيد. بالنسبة للمهام المعقدة مثل إنشاء محتوى خاص بالمجال، قد تكون هناك حاجة إلى 200 إلى 500 مثال. فيما يتجاوز 500 مثال، تعد العوائد المتناقصة أمرًا شائعًا ما لم تكن مهمتك ذات تقلبات عالية جدًا. ابدأ بـ 50 مثالًا، وقم بتقييم الجودة، وأضف المزيد فقط إذا تحسنت المقاييس باستخدام بيانات إضافية.
هل الضبط الدقيق يستحق التكلفة مقارنة بالهندسة السريعة؟
يستحق الضبط الدقيق ذلك عندما: يزيل النموذج المضبوط بدقة الأمثلة القليلة الباهظة الثمن من كل موجه (مما يوفر شهريًا أكثر من تكلفة التدريب)، أو عندما تتطلب المهمة اتساقًا لا يمكن للهندسة السريعة تحقيقه، أو عندما يؤثر تحسين الجودة بشكل مباشر على الإيرادات. لا يستحق الأمر العناء عندما تحقق الهندسة السريعة 90 بالمائة أو أكثر من الجودة المستهدفة، أو عندما تكون المهمة تصنيفًا بسيطًا، أو عندما يكون حجم الاستدلال منخفضًا جدًا بحيث لا يبرر العلاوة المستمرة.
كم من الوقت يستغرق الضبط الدقيق؟
يكتمل ضبط OpenAI عادةً خلال 30 دقيقة إلى 3 ساعات حسب حجم مجموعة البيانات. تنتهي مجموعة بيانات مكونة من 100 مثال مع 500 رمز مميز لكل مثال في أقل من ساعة. قد تستغرق مجموعة بيانات مكونة من 1000 مثال تحتوي كل منها على 1000 رمز مميز من 2 إلى 3 ساعات. تتلقى إشعارًا عبر البريد الإلكتروني عند اكتمال التدريب، ويكون النموذج المضبوط متاحًا على الفور للاستدلال عليه من خلال واجهة برمجة التطبيقات (API) باستخدام معرف نموذج فريد.
هل يمكنني ضبط بيانات الملكية بشكل آمن؟
نعم، مع الاحتياطات المناسبة. لا تستخدم OpenAI بيانات واجهة برمجة التطبيقات (API) لتدريب نماذجها. يتم تخزين بيانات الضبط الدقيق مؤقتًا لعملية التدريب ويمكن حذفها بعد ذلك. بالنسبة للمؤسسات التي لديها متطلبات صارمة لإدارة البيانات، فكر في الضبط الدقيق من خلال خدمة Azure OpenAI التي توفر عناصر تحكم إضافية في أمان المؤسسة وعزل البيانات وشهادات الامتثال بما في ذلك SOC 2 وHIPAA.
ماذا يحدث إذا لم يؤدي الضبط الدقيق إلى تحسين الجودة؟
ما يقرب من 30 إلى 40 بالمائة من محاولات الضبط الدقيق لا تؤدي إلى تحسينات ذات معنى. تشمل الأسباب الشائعة عدم كفاية أو انخفاض جودة بيانات التدريب، والمهام المعقدة للغاية بالنسبة لقدرة النموذج الأساسي، والتركيب الزائد على مجموعات البيانات الصغيرة. إذا فشلت محاولتك الأولى، فحاول زيادة أمثلة التدريب بمقدار 2 إلى 3 مرات، أو تحسين جودة الأمثلة من خلال مراجعة الخبراء، أو ضبط عدد العصور، أو التبديل إلى نموذج أساسي أكثر قدرة.
كيف يعمل تسعير الاستدلال النموذجي المضبوط؟
تتم محاسبة النماذج المضبوطة بدقة بمعدل ضعفي سعر الطراز الأساسي تقريبًا. تبلغ تكلفة GPT-4o-mini المضبوطة 0.30 دولارًا أمريكيًا لكل مليون رمز إدخال و1.20 دولارًا أمريكيًا لكل مليون رمزًا مميزًا للمخرجات مقابل 0.15 دولارًا أمريكيًا و0.60 دولارًا أمريكيًا للنموذج الأساسي. تبلغ تكلفة GPT-4o المضبوطة 3.75 دولارًا لكل مليون مدخل و15.00 دولارًا لكل مليون مخرج مقابل 2.50 دولارًا و10.00 دولارًا للقاعدة. تتحمل النماذج المستضافة المضبوطة أيضًا رسوم استضافة لكل ساعة أثناء نشاطها.
أخطاء شائعة يجب تجنبها
▾
- !الضبط الدقيق قبل استنفاد الخيارات الهندسية السريعة:
- !التقليل من تكاليف إعداد البيانات:
- !نسيان قسط تكلفة الاستدلال المستمر:
نصيحة احترافية
قبل الالتزام بمشروع الضبط الدقيق الكامل، قم بإجراء تجربة سريعة باستخدام 20 إلى 30 مثالًا فقط. إذا أظهر النموذج الذي تم ضبطه تحسينًا قابلاً للقياس في مجموعة الاختبار الخاصة بك باستخدام مجموعة البيانات الصغيرة هذه، فهذا يشير إلى أن الضبط الدقيق هو استراتيجية قابلة للتطبيق لمهمتك. إذا لم يُظهر 30 مثالًا أي تحسن، فمن غير المرجح أن تساعد إضافة المزيد من البيانات، ويجب عليك التحقق مما إذا كانت قدرة النموذج الأساسي كافية أو إذا كان تعريف المهمة يحتاج إلى تحسين.
هل تعلم؟
تبلغ تكلفة الحوسبة لضبط GPT-4o-mini على 100 نموذج عالي الجودة حوالي 0.24 دولارًا أمريكيًا، أي أقل من تكلفة كرة علكة واحدة من آلة البيع. التكلفة الحقيقية هي دائمًا الخبرة البشرية اللازمة لإنشاء تلك الأمثلة المائة، والتي تكلف عادةً ما بين 500 إلى 2000 مرة أكثر من الحوسبة. وهذا يجعل الضبط الدقيق أحد أكثر تقنيات الذكاء الاصطناعي التي تتطلب عمالة بشرية على الرغم من وجود تكاليف حسابية تافهة.
Regional Guides
▾
North America▾
Europe▾
Asia-Pacific▾
المراجع
احصل على نصائح الرياضيات الأسبوعية
انضم إلى مشتركي 12,000+ الذين يحصلون على نصائح حول الآلة الحاسبة كل أسبوع.