কী LLM Fine-Tuning Cost Calculator?
▾
LLM ফাইন-টিউনিং কস্ট ক্যালকুলেটর আপনার নির্দিষ্ট ডেটাতে একটি প্রাক-প্রশিক্ষিত ভাষা মডেল কাস্টমাইজ করার মোট খরচ অনুমান করে, প্রশিক্ষণের কম্পিউট, ডেটা প্রস্তুতি, বৈধতা, এবং একটি সূক্ষ্ম-টিউনড মডেল ব্যবহার করার চলমান অনুমান খরচ প্রিমিয়াম কভার করে। OpenAI GPT-4o-মিনি ফাইন-টিউনিংয়ের জন্য প্রতি মিলিয়ন ট্রেনিং টোকেন প্রতি $8 এবং GPT-4o-এর জন্য প্রতি মিলিয়ন $25 চার্জ করে। প্রশিক্ষণ সাধারণত আপনার ডেটাসেটের উপর 3 থেকে 4টি যুগের জন্য চলে, যার অর্থ মোট প্রশিক্ষণ টোকেনগুলি যুগের সংখ্যা দ্বারা গুণিত আপনার ডেটাসেটের আকারের সমান। ফাইন-টিউনিং ব্যবহার করা হয় যখন প্রম্পট ইঞ্জিনিয়ারিং একা পছন্দসই আউটপুট ফর্ম্যাট, টোন বা ডোমেন দক্ষতা অর্জন করতে পারে না। সাধারণ ব্যবহারের ক্ষেত্রে নির্দিষ্ট আউটপুট স্কিমা অনুসরণ করার জন্য প্রশিক্ষণের মডেল অন্তর্ভুক্ত করা, একটি ব্র্যান্ডের ভয়েসের সাথে মিল করা, আইন বা ওষুধের মতো ক্ষেত্রে ডোমেন-নির্দিষ্ট পরিভাষা পরিচালনা করা, বা বিশেষ শ্রেণীবিভাগের কাজগুলিতে কর্মক্ষমতা উন্নত করা। ফাইন-টিউন করার সিদ্ধান্তটি একটি খরচ-সুবিধা বিশ্লেষণের উপর ভিত্তি করে হওয়া উচিত যা এককালীন প্রশিক্ষণের খরচ এবং চলমান অনুমান প্রিমিয়ামের সাথে তুলনা করে অনেকগুলি কয়েকটি-শট উদাহরণ সহ দীর্ঘ প্রম্পট ব্যবহার করার বিকল্পের বিপরীতে। এই ক্যালকুলেটরটি এমএল প্রকৌশলী এবং পণ্য দলকে সিদ্ধান্ত নিতে সাহায্য করে যে ফাইন-টিউনিং তাদের ব্যবহারের ক্ষেত্রে অর্থনৈতিকভাবে ন্যায়সঙ্গত কিনা। একটি ফাইন-টিউনড GPT-4o-মিনি মডেলের দাম প্রতি মিলিয়ন ইনপুট টোকেনের জন্য $0.30 এবং অনুমানের জন্য $1.20 প্রতি মিলিয়ন আউটপুট টোকেন, বেস মডেলের দামের দ্বিগুণ। যদি ফাইন-টিউনিং আপনাকে প্রতিটি অনুরোধ থেকে একটি 1,000-টোকেন কয়েক-শট প্রম্পট বাদ দিতে দেয়, তবে হ্রাসকৃত ইনপুট টোকেনগুলি প্রতি-টোকেনের উচ্চ হার সত্ত্বেও প্রতি অনুরোধ প্রতি সূক্ষ্ম-টিউন করা মডেলটিকে সস্তা করে তুলতে পারে।
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
সূত্র
▾
মোট ফাইন-টিউনিং খরচ = প্রশিক্ষণের ডেটাসেট টোকেন x যুগ x প্রশিক্ষণের মূল্য প্রতি 1M টোকেন / 1,000,000 + বৈধকরণ খরচ + ডেটা প্রস্তুতির শ্রম। উদাহরণ স্বরূপ, 3টি যুগে 500,000 প্রশিক্ষণ টোকেন সহ ফাইন-টিউনিং GPT-4o-mini: প্রশিক্ষণ খরচ = 500,000 x 3 x $8.00 / 1,000,000 = $12.00। যদি ডেটা তৈরি করতে 10 ঘন্টা সময় লাগে $75/ঘন্টা, মোট প্রকল্প খরচ = $12 + $750 = $762।চলক বর্ণনা
▾
| প্রতীক | নাম | একক | বিবরণ |
|---|---|---|---|
| D | প্রশিক্ষণ ডেটাসেটের আকার | tokens | JSONL ডেটাসেটের সমস্ত প্রশিক্ষণ উদাহরণ জুড়ে মোট টোকেন গণনা, প্রতিটি উদাহরণে সিস্টেম, ব্যবহারকারী এবং সহকারী বার্তা টোকেনের যোগফল হিসাবে গণনা করা হয়। |
| E | প্রশিক্ষণ যুগ | epochs | ফাইন-টিউনিংয়ের সময় প্রশিক্ষণ ডেটাসেটের মাধ্যমে সম্পূর্ণ পাসের সংখ্যা, সাধারণত 3 থেকে 4টি ওপেনএআই মডেলের জন্য, আরও যুগের সাথে ছোট ডেটাসেটের অতিরিক্ত ফিটিং ঝুঁকিপূর্ণ। |
| P_train | প্রতি মিলিয়ন টোকেন প্রশিক্ষণের মূল্য | USD per 1M tokens | প্রশিক্ষণ গণনার জন্য প্রতি টোকেন খরচ, বর্তমানে GPT-4o-mini-এর জন্য প্রতি মিলিয়ন টোকেন $8 এবং GPT-4o ফাইন-টিউনিংয়ের জন্য প্রতি মিলিয়ন টোকেন $25। |
| P_inf | ফাইন-টিউনড ইনফারেন্স প্রাইস | USD per 1M tokens | ফাইন-টিউনড মডেলের জন্য প্রতি-টোকেন অনুমান খরচ, যা সাধারণত বেস মডেলের 2x হয়: সূক্ষ্ম-টিউন করা GPT-4o-mini-এর জন্য $0.30/$1.20। |
| H | ডেটা প্রস্তুতির সময় | hours | প্রশিক্ষণের ডেটা সংগ্রহ, পরিষ্কার, ফর্ম্যাট এবং পর্যালোচনা করার জন্য প্রয়োজনীয় মানব শ্রম ঘন্টা, যা সাধারণত ফাইন-টিউনিং প্রকল্পের সবচেয়ে বড় খরচের উপাদানকে উপস্থাপন করে। |
| R | পরীক্ষামূলক রান | runs | উত্পাদনের গুণমানে পৌঁছানোর আগে সূক্ষ্ম-টিউনিং পরীক্ষার সংখ্যা, সাধারণত 3 থেকে 5টি ডেটাসেট এবং প্রতিটির মধ্যে হাইপারপ্যারামিটার সমন্বয়ের সাথে চলে। |
কীভাবে LLM Fine-Tuning Cost Calculator
▾
- 1সিস্টেম, ব্যবহারকারী এবং সহকারী বার্তা জোড়া সহ প্রয়োজনীয় JSONL বিন্যাসে আপনার প্রশিক্ষণ ডেটাসেট প্রস্তুত করুন। প্রতিটি উদাহরণের এমন আচরণ প্রদর্শন করা উচিত যে আপনি মডেলটি শিখতে চান। OpenAI ন্যূনতম 10টি উদাহরণের সুপারিশ করে কিন্তু লক্ষণীয় মানের উন্নতির জন্য 50 থেকে 100টি সুপারিশ করে। উচ্চ-মানের প্রশিক্ষণ ডেটা তৈরি, পর্যালোচনা এবং যাচাই করার জন্য উল্লেখযোগ্য মানবিক প্রচেষ্টার প্রয়োজন, যা প্রায়শই ফাইন-টিউনিং প্রকল্পগুলির সবচেয়ে বড় লুকানো খরচ।
- 2আপনার প্রশিক্ষণ ডেটাসেটের টোকেন গণনা গণনা করুন। প্রতিটি প্রশিক্ষণের উদাহরণ টোকেনাইজ করা হয়, এবং সমস্ত উদাহরণ জুড়ে মোট আপনার প্রশিক্ষণের খরচ নির্ধারণ করে। গড়ে 500 টোকেন সহ 100টি উদাহরণের একটি ডেটাসেট প্রতিটি মোট 50,000 টোকেন। প্রশিক্ষণের খরচও নির্ভর করে যুগের সংখ্যার উপর (ডেটাসেটের মাধ্যমে সম্পূর্ণ পাস), OpenAI ডিফল্ট 3 থেকে 4টি যুগে। মোট প্রশিক্ষণ টোকেন সমান ডেটাসেট টোকেন যুগের দ্বারা গুণিত।
- 3ফাইন-টিউনিংয়ের জন্য আপনার বেস মডেল নির্বাচন করুন। GPT-4o-মিনি ফাইন-টিউনিং-এর জন্য প্রতি মিলিয়ন প্রশিক্ষণ টোকেন $8 খরচ হয় এবং এটি বেশিরভাগ ব্যবহারের ক্ষেত্রে উপযুক্ত। GPT-4o ফাইন-টিউনিং এর জন্য প্রতি মিলিয়ন ট্রেনিং টোকেনের জন্য $25 খরচ হয় এবং সর্বোচ্চ মডেল ক্ষমতার প্রয়োজন এমন কাজের জন্য সংরক্ষিত। বেস মডেল (ফাইন-টিউনিংয়ের আগে) উপযুক্ত প্রম্পটিং সহ আপনার কাজের জন্য যথেষ্ট সক্ষম কিনা তার উপর ভিত্তি করে পছন্দ করা উচিত।
- 4ফাইন-টিউনিং কাজ জমা দিন এবং অগ্রগতি নিরীক্ষণ করুন। ডেটাসেটের আকারের উপর নির্ভর করে প্রশিক্ষণ সাধারণত 30 মিনিট থেকে কয়েক ঘন্টার মধ্যে সম্পন্ন হয়। OpenAI শুধুমাত্র প্রশিক্ষণ টোকেন খাওয়ার জন্য চার্জ করে, কোন অতিরিক্ত কম্পিউট ফি ছাড়াই। আপনি আপনার ডেটাসেটে পুনরাবৃত্তি করার জন্য একাধিক ফাইন-টিউনিং পরীক্ষা চালাতে পারেন, প্রতিটি রানের জন্য সম্পূর্ণ প্রশিক্ষণের খরচ বহন করতে হবে। উত্পাদনের গুণমানে পৌঁছানোর আগে 3 থেকে 5 পরীক্ষামূলক রানের জন্য বাজেট।
- 5একটি হোল্ড-আউট টেস্ট সেটের বিপরীতে সূক্ষ্ম-টিউনড মডেলটির মূল্যায়ন করুন। নির্ভুলতা, বিন্যাস সম্মতি, এবং আউটপুট গুণমানের সাথে বেস মডেলের সাথে অল্প-শট প্রম্পটিংয়ের সাথে তুলনা করুন। যদি ফাইন-টিউনড মডেলটি প্রম্পটেড বেস মডেলকে উল্লেখযোগ্যভাবে ছাড়িয়ে না যায়, তাহলে প্রশিক্ষণের খরচ এবং চলমান অনুমান প্রিমিয়াম ন্যায়সঙ্গত নয়। আনুমানিক 30 থেকে 40 শতাংশ ফাইন-টিউনিং প্রকল্পগুলি ভালভাবে তৈরি প্রম্পটগুলির তুলনায় অর্থপূর্ণ উন্নতি করে না।
- 6চলমান অনুমান খরচ প্রিমিয়াম গণনা. বেস মডেলের জন্য $0.15 এবং $0.60 এর তুলনায় ফাইন-টিউনড GPT-4o-মিনি মডেলের দাম $0.30 প্রতি মিলিয়ন ইনপুট টোকেন এবং $1.20 প্রতি মিলিয়ন আউটপুট টোকেন। এই 2x প্রিমিয়াম অবশ্যই আউটপুট মানের উন্নতি, প্রম্পট দৈর্ঘ্য হ্রাস (আর কিছু-শট উদাহরণ নয়), বা পোস্ট-প্রসেসিংয়ের জন্য প্রয়োজনীয় হ্রাস দ্বারা অফসেট করা উচিত। পেব্যাক সময়কাল নির্ধারণ করতে মাসিক অনুমান খরচ পার্থক্য মডেল.
- 7মোট ROI গণনা সম্পাদন করুন। এককালীন প্রশিক্ষণ খরচ, ডেটা প্রস্তুতির শ্রম এবং চলমান মাসিক অনুমান খরচের পার্থক্য যোগ করুন। দীর্ঘ প্রম্পট বা আরও সক্ষম (এবং ব্যয়বহুল) বেস মডেলের সাথে বেস মডেল ব্যবহারের বিকল্পের সাথে তুলনা করুন। যখন গুণমানের উন্নতি পরিমাপকভাবে গ্রাহক সন্তুষ্টি, ত্রুটির হার, বা প্রক্রিয়াকরণ দক্ষতার মতো ব্যবসায়িক মেট্রিক্সকে প্রভাবিত করে তখন ফাইন-টিউনিং বিনিয়োগটি ন্যায্য হয়।
সমাধান করা উদাহরণ
▾
360,000 প্রশিক্ষণ টোকেনের জন্য প্রশিক্ষণ গণনা খরচ সর্বনিম্ন $2.88। 200টি উচ্চ-মানের ইমেল উদাহরণ কিউরেট করার জন্য 15 ঘন্টা ডেটা প্রস্তুতির আসল খরচ। এটি ফাইন-টিউনিং প্রকল্পগুলির সাধারণ যেখানে ডেটা প্রস্তুতি বাজেটের উপর প্রাধান্য পায়।
মেডিকেল ডোমেন ফাইন-টিউনিংয়ের জন্য বিশেষজ্ঞ-পর্যালোচিত প্রশিক্ষণ ডেটার প্রয়োজন, ডেটা প্রস্তুতিকে ব্যয়বহুল করে তোলে। 1,200 টোকেনের 500টি উদাহরণ প্রতিটি 4টি যুগে 2.4 মিলিয়ন প্রশিক্ষণ টোকেন ব্যবহার করে প্রতি মিলিয়ন $25। প্রতি-টোকেন হারে উচ্চতর হওয়া সত্ত্বেও, প্রশিক্ষণ কম্পিউট খরচ এখনও ডেটা প্রস্তুতির জন্য প্রয়োজনীয় ক্লিনিকাল বিশেষজ্ঞের সময় দ্বারা বামন।
সাধারণ বিন্যাস সম্মতিমূলক কাজের জন্য, প্রায়ই 50টি উদাহরণ যথেষ্ট। প্রশিক্ষণ খরচ $1 এর নিচে। সূক্ষ্ম-টিউন করা মডেলটি প্রতিটি অনুরোধ থেকে একটি 500-টোকেন JSON স্কিমা প্রম্পট বাদ দিতে পারে, GPT-4o-mini-তে প্রতি 1,000 অনুরোধে $0.075 সাশ্রয় করে৷ 100,000 মাসিক অনুরোধে, প্রতি মাসে $7.50 এর অনুমান সঞ্চয় 50 মাসে $375 বিনিয়োগ ফেরত দেয়, তাই প্রম্পট ইঞ্জিনিয়ারিং সম্ভবত এখানে আরও সাশ্রয়ী।
বাস্তব প্রয়োগ
▾
ই-কমার্স কোম্পানিগুলি একটি নির্দিষ্ট ব্র্যান্ডের ভয়েস এবং ফর্ম্যাটে পণ্যের বিবরণ তৈরি করতে GPT-4o-mini সূক্ষ্ম-টিউন করে। 50,000 পণ্য সহ একজন খুচরা বিক্রেতা 200টি উদাহরণ বর্ণনা তৈরি করে, কম্পিউটে $3 এর জন্য সূক্ষ্ম-টিউন এবং ডেটা প্রস্তুতির জন্য কপিরাইটারের সময় $1,500, তারপর অনুমানে প্রায় $10 এর জন্য সূক্ষ্ম-টিউনড মডেল ব্যবহার করে সমস্ত 50,000 বিবরণ তৈরি করে। প্রতিটি পণ্যের প্রতি $5 এ প্রতিটি বিবরণ ম্যানুয়ালি লেখার বিকল্পের জন্য খরচ হবে $250,000, যার ফলে সূক্ষ্ম টিউনিং 99.4 শতাংশ খরচ কমানো যায়।
স্বাস্থ্যসেবা সংস্থাগুলি ক্লিনিকাল নোটগুলিকে SOAP (সাবজেক্টিভ, অবজেক্টিভ, অ্যাসেসমেন্ট, প্ল্যান) এর মতো স্ট্যান্ডার্ড ফর্ম্যাটে গঠন করতে মডেলগুলিকে সুন্দর করে। একটি হেলথ টেক স্টার্টআপ 500টি বিশেষজ্ঞ-পর্যালোচিত প্রশিক্ষণের উদাহরণ প্রস্তুত করে যা $5,000 চিকিত্সক সময় ব্যয় করে, $60 এর জন্য ট্রেন করে এবং প্রতি মাসে 50,000 ক্লিনিকাল নোট প্রক্রিয়া করার জন্য মডেলটি স্থাপন করে। ফাইন-টিউনড মডেলটি শুধুমাত্র প্রম্পট ইঞ্জিনিয়ারিং এর মাধ্যমে 78 শতাংশের তুলনায় 95 শতাংশ বিন্যাস নির্ভুলতা অর্জন করে, বিনিয়োগকে ন্যায্যতা দেয়।
আর্থিক পরিষেবা সংস্থাগুলি নিয়ন্ত্রক সম্মতি শ্রেণীবিভাগের জন্য মডেলগুলিকে সুন্দর করে, চুক্তি এবং চিঠিপত্রে নির্দিষ্ট নিয়ন্ত্রক প্রয়োজনীয়তাগুলি সনাক্ত করার জন্য মডেলটিকে প্রশিক্ষণ দেয়। একটি কমপ্লায়েন্স দল বিশ্লেষক সময়ে $12,000 খরচে 4 সপ্তাহের মধ্যে 300 টি টীকাযুক্ত উদাহরণ তৈরি করে, $15-এ ট্রেন করে এবং প্রতি মাসে 200,000 যোগাযোগগুলি স্ক্রীন করার জন্য মডেলটি স্থাপন করে। ফাইন-টিউনড মডেলটি স্ট্যান্ডার্ড প্রম্পটিং সহ বেস মডেলের তুলনায় 40 শতাংশ বেশি কমপ্লায়েন্স সমস্যা ধরে।
সফ্টওয়্যার কোম্পানিগুলি তাদের নির্দিষ্ট ফ্রেমওয়ার্ক কনভেনশন এবং কোডিং স্ট্যান্ডার্ডে কোড জেনারেট করতে GPT-4o-mini সূক্ষ্ম-টিউন করে। একটি প্ল্যাটফর্ম টিম তাদের স্টাইল গাইড অনুসরণ করে কোড ট্রান্সফরমেশনের 150টি উদাহরণ তৈরি করে, $2-এর জন্য ফাইন-টিউনস, এবং মডেলটিকে তাদের ডেভেলপার টুলে সংহত করে। ডেভেলপাররা AI-প্রস্তাবিত কোডে 30 শতাংশ কম স্টাইল গাইড লঙ্ঘনের রিপোর্ট করে, প্রতি পুল অনুরোধে গড়ে 15 মিনিট করে কোড পর্যালোচনা চক্র হ্রাস করে।
বিশেষ ক্ষেত্র
▾
বহু-ভাষা সমর্থনের জন্য ফাইন-টিউনিং করার সময়, প্রশিক্ষণের ডেটাতে অবশ্যই সমস্ত লক্ষ্য ভাষার উদাহরণ অন্তর্ভুক্ত করতে হবে।
শুধুমাত্র ইংরেজি উদাহরণের উপর সূক্ষ্ম সুর করা একটি মডেল নির্ভরযোগ্যভাবে অন্যান্য ভাষায় শেখা আচরণ প্রয়োগ করবে না। একটি 10-ভাষা স্থাপনার জন্য, আপনার প্রতি ভাষাতে আনুমানিক 50 থেকে 100টি উদাহরণ প্রয়োজন, ডেটা প্রস্তুতির খরচ 10x বৃদ্ধি করে৷ বহুভাষিক সূক্ষ্ম সুরকরণের প্রতিশ্রুতিবদ্ধ হওয়ার আগে একটি ভালভাবে তৈরি বহুভাষিক সিস্টেম প্রম্পট শূন্য প্রশিক্ষণ খরচে তুলনামূলক ফলাফল অর্জন করতে পারে কিনা তা বিবেচনা করুন।
স্বাস্থ্যসেবা, অর্থ, বা আইনি ডোমেনে নিরাপত্তা-সমালোচনামূলক অ্যাপ্লিকেশনের জন্য,
স্বাস্থ্যসেবা, ফিনান্স বা আইনি ডোমেনে নিরাপত্তা-সমালোচনামূলক অ্যাপ্লিকেশনের জন্য, সূক্ষ্ম-টিউন করা মডেলগুলির জন্য মোতায়েন করার আগে ব্যাপক রেড-টিমিং এবং বৈধতা প্রয়োজন। এই বৈধকরণ প্রক্রিয়ার খরচ (50 থেকে 200 ঘন্টা ডোমেন বিশেষজ্ঞ পর্যালোচনা প্রতি ঘন্টায় $100 থেকে $300) 10 থেকে 50 গুণ বেশি সূক্ষ্ম-টিউনিং খরচ নিজেই অতিক্রম করতে পারে। একটি ঐচ্ছিক অ্যাড-অন হিসাবে নয়, নিয়ন্ত্রিত শিল্পগুলিতে যে কোনও সূক্ষ্ম-টিউনিং প্রকল্পের একটি বাধ্যতামূলক উপাদান হিসাবে এই বৈধতার জন্য বাজেট৷
প্রম্পট দৈর্ঘ্য কমাতে ফাইন-টিউনিং ব্যবহার করার সময় (কয়েকটি শট উদাহরণ বাদ দেওয়া),
প্রম্পট দৈর্ঘ্য কমাতে ফাইন-টিউনিং ব্যবহার করার সময় (কয়েকটি-শট উদাহরণ বাদ দেওয়া), সাবধানে ব্রেক-ইভেন পয়েন্ট গণনা করুন। যদি ফাইন-টিউনিংয়ের মোট খরচ হয় $500 এবং প্রতিটি অনুরোধ থেকে 800টি টোকেন কয়েক-শট উদাহরণ বাদ দেওয়া হয়, তাহলে GPT-4o-mini-তে প্রতি অনুরোধ সঞ্চয় ইনপুট টোকেনের জন্য $0.00012। ইভেন ব্রেক করার জন্য আপনার 4.17 মিলিয়ন অনুরোধের প্রয়োজন, বা এক বছরে প্রতি মাসে প্রায় 347,000 অনুরোধ। যদি আপনার ভলিউম এই থ্রেশহোল্ডের নীচে থাকে, তবে দীর্ঘ প্রম্পট থাকা সত্ত্বেও অল্প-শট পদ্ধতিটি আরও অর্থনৈতিক।
OpenAI ফাইন-টিউনিং প্রাইসিং (2025)
▾
| মডেল | প্রশিক্ষণ (প্রতি 1M টোকেন) | অনুমান ইনপুট | ইনফারেন্স আউটপুট | বেস ইনপুট | বেস আউটপুট |
|---|---|---|---|---|---|
| GPT-4o-মিনি | $8.00 | $0.30/1M | $1.20/1M | $0.15/1M | $0.60/1M |
| GPT-4o | $25.00 | $3.75/1M | $15.00/1M | $2.50/1M | $10.00/1M |
| GPT-3.5-টার্বো | $8.00 | $3.00/1M | $6.00/1M | $0.50/1M | $1.50/1M |
সচরাচর জিজ্ঞাসা
▾
আমার কতগুলি প্রশিক্ষণের উদাহরণ দরকার?
ওপেনএআই ন্যূনতম 10টি উদাহরণের সুপারিশ করে তবে অর্থপূর্ণ মানের উন্নতির জন্য 50 থেকে 100টি প্রস্তাব করে৷ ডোমেন-নির্দিষ্ট বিষয়বস্তু তৈরির মতো জটিল কাজের জন্য, 200 থেকে 500 উদাহরণের প্রয়োজন হতে পারে। 500টি উদাহরণের বাইরে, আপনার কাজের খুব উচ্চ পরিবর্তনশীলতা না থাকলে রিটার্ন হ্রাস করা সাধারণ। 50টি উদাহরণ দিয়ে শুরু করুন, গুণমানের মূল্যায়ন করুন এবং অতিরিক্ত ডেটা দিয়ে মেট্রিক্স উন্নত হলেই আরও যোগ করুন।
প্রম্পট ইঞ্জিনিয়ারিংয়ের তুলনায় ফাইন-টিউনিং কি মূল্যের মূল্য?
ফাইন-টিউনিং এর মূল্য যখন: সূক্ষ্ম-টিউন করা মডেল প্রতিটি প্রম্পট থেকে ব্যয়বহুল কয়েকটি শট উদাহরণ মুছে দেয় (প্রশিক্ষণের খরচের চেয়ে প্রতি মাসে বেশি সাশ্রয় করে), টাস্কের জন্য ধারাবাহিকতা প্রয়োজন যা প্রম্পট ইঞ্জিনিয়ারিং অর্জন করতে পারে না, বা গুণমানের উন্নতি সরাসরি রাজস্বকে প্রভাবিত করে। যখন প্রম্পট ইঞ্জিনিয়ারিং লক্ষ্য মানের 90 শতাংশ বা তার বেশি অর্জন করে, যখন কাজটি সহজ শ্রেণীবিভাগ করা হয়, বা যখন চলমান প্রিমিয়ামকে ন্যায্যতা দেওয়ার জন্য অনুমানের পরিমাণ খুব কম হয় তখন এটি মূল্যবান নয়।
ফাইন-টিউনিং কতক্ষণ সময় নেয়?
ওপেনএআই ফাইন-টিউনিং সাধারণত ডেটাসেটের আকারের উপর নির্ভর করে 30 মিনিট থেকে 3 ঘন্টার মধ্যে সম্পন্ন হয়। প্রতি উদাহরণে 500 টোকেন সহ একটি 100-উদাহরণ ডেটাসেট এক ঘন্টার মধ্যে শেষ হয়৷ 1,000 টোকেন সহ একটি 1,000-উদাহরণ ডেটাসেট প্রতিটিতে 2 থেকে 3 ঘন্টা সময় লাগতে পারে৷ প্রশিক্ষণ শেষ হলে আপনি ইমেল বিজ্ঞপ্তি পাবেন, এবং সূক্ষ্ম-টিউনড মডেলটি অবিলম্বে একটি অনন্য মডেল শনাক্তকারী সহ API-এর মাধ্যমে অনুমানের জন্য উপলব্ধ।
আমি কি নিরাপদে মালিকানাধীন ডেটাতে ফাইন-টিউন করতে পারি?
হ্যাঁ, যথাযথ সতর্কতা সহ। OpenAI তাদের মডেল প্রশিক্ষণের জন্য API ডেটা ব্যবহার করে না। প্রশিক্ষণ প্রক্রিয়ার জন্য ফাইন-টিউনিং ডেটা সাময়িকভাবে সংরক্ষণ করা হয় এবং পরে মুছে ফেলা যেতে পারে। কঠোর ডেটা শাসনের প্রয়োজনীয়তা সহ সংস্থাগুলির জন্য, Azure OpenAI পরিষেবার মাধ্যমে ফাইন-টিউনিং বিবেচনা করুন যা অতিরিক্ত এন্টারপ্রাইজ নিরাপত্তা নিয়ন্ত্রণ, ডেটা বিচ্ছিন্নতা, এবং SOC 2 এবং HIPAA সহ কমপ্লায়েন্স সার্টিফিকেশন অফার করে।
ফাইন-টিউনিং গুণমান উন্নত না হলে কি হবে?
আনুমানিক 30 থেকে 40 শতাংশ ফাইন-টিউনিং প্রচেষ্টা অর্থপূর্ণ উন্নতি তৈরি করে না। সাধারণ কারণগুলির মধ্যে রয়েছে অপর্যাপ্ত বা নিম্ন-মানের প্রশিক্ষণের ডেটা, বেস মডেলের ক্ষমতার জন্য অত্যন্ত জটিল কাজগুলি এবং ছোট ডেটাসেটে অতিরিক্ত ফিটিং। আপনার প্রথম প্রচেষ্টা ব্যর্থ হলে, প্রশিক্ষণের উদাহরণ 2 থেকে 3 বার বাড়ানোর চেষ্টা করুন, বিশেষজ্ঞ পর্যালোচনার মাধ্যমে উদাহরণের গুণমান উন্নত করুন, যুগের সংখ্যা সামঞ্জস্য করুন, বা আরও সক্ষম বেস মডেলে স্যুইচ করুন৷
ফাইন-টিউনড মডেল ইনফারেন্স মূল্য কিভাবে কাজ করে?
ফাইন-টিউন করা মডেলগুলিকে বেস মডেলের আনুমানিক 2x হারে বিল করা হয়। ফাইন-টিউনড GPT-4o-mini-এর মূল্য $0.30 প্রতি মিলিয়ন ইনপুট টোকেন এবং $1.20 প্রতি মিলিয়ন আউটপুট টোকেন বনাম $0.15 এবং $0.60 বেস মডেলের জন্য। ফাইন-টিউনড GPT-4o-এর মূল্য $3.75 প্রতি মিলিয়ন ইনপুট এবং $15.00 প্রতি মিলিয়ন আউটপুট বনাম $2.50 এবং $10.00 বেসের জন্য। হোস্ট করা ফাইন-টিউনড মডেলগুলি সক্রিয় থাকাকালীন প্রতি ঘন্টা হোস্টিং ফিও বহন করে।
এড়ানোর সাধারণ ভুল
▾
- !প্রম্পট ইঞ্জিনিয়ারিং বিকল্পগুলি ক্লান্ত করার আগে ফাইন-টিউনিং:
- !ডেটা প্রস্তুতির খরচকে অবমূল্যায়ন করা:
- !চলমান অনুমান খরচ প্রিমিয়াম ভুলে যাওয়া:
প্রো টিপ
একটি সম্পূর্ণ ফাইন-টিউনিং প্রকল্পে প্রতিশ্রুতিবদ্ধ হওয়ার আগে, মাত্র 20 থেকে 30টি উদাহরণ সহ একটি দ্রুত পরীক্ষা চালান। যদি সূক্ষ্ম-টিউন করা মডেলটি এই ছোট ডেটাসেটের সাথে আপনার পরীক্ষা সেটে পরিমাপযোগ্য উন্নতি দেখায়, তাহলে এটি নির্দেশ করে যে ফাইন-টিউনিং আপনার কাজের জন্য একটি কার্যকর কৌশল। যদি 30টি উদাহরণ কোনো উন্নতি না দেখায়, তাহলে আরও ডেটা যোগ করলে সাহায্য করার সম্ভাবনা নেই, এবং আপনার বেস মডেলের সক্ষমতা যথেষ্ট কিনা বা টাস্কের সংজ্ঞাটির পরিমার্জন প্রয়োজন কিনা তা তদন্ত করা উচিত।
আপনি কি জানেন?
100টি উচ্চ-মানের উদাহরণে GPT-4o-mini-কে ফাইন-টিউন করতে গণনা খরচ প্রায় $0.24, একটি ভেন্ডিং মেশিন থেকে একটি গাম্বলের খরচের চেয়ে কম৷ আসল খরচ হল সর্বদা সেই 100টি উদাহরণ তৈরি করার জন্য মানুষের দক্ষতার প্রয়োজন, যা সাধারণত গণনার চেয়ে 500 থেকে 2,000 গুণ বেশি খরচ করে। এটি তুচ্ছ গণনা খরচ থাকা সত্ত্বেও সবচেয়ে মানব-শ্রম-নিবিড় AI কৌশলগুলির মধ্যে একটি ফাইন-টিউনিং করে তোলে।
Regional Guides
▾
North America▾
Europe▾
Asia-Pacific▾
তথ্যসূত্র
সাপ্তাহিক গণিত টিপস পান
১২,০০০+ সদস্যদের সাথে যোগ দিন যারা প্রতি সপ্তাহে ক্যালকুলেটর টিপস পান।