అంటే ఏమిటి LLM Fine-Tuning Cost Calculator?
▾
LLM ఫైన్-ట్యూనింగ్ కాస్ట్ కాలిక్యులేటర్ మీ నిర్దిష్ట డేటాపై ప్రీ-ట్రైన్డ్ లాంగ్వేజ్ మోడల్‌ను అనుకూలీకరించడం, శిక్షణ గణన, డేటా తయారీ, ధ్రువీకరణ మరియు ఫైన్-ట్యూన్ చేసిన మోడల్‌ను ఉపయోగించడం కోసం కొనసాగుతున్న అనుమితి ధర ప్రీమియం మొత్తం ఖర్చును అంచనా వేస్తుంది. GPT-4o-మినీ ఫైన్-ట్యూనింగ్ కోసం OpenAI ప్రతి మిలియన్ శిక్షణ టోకెన్‌లకు $8 మరియు GPT-4oకి $25 వసూలు చేస్తుంది. శిక్షణ సాధారణంగా మీ డేటాసెట్‌లో 3 నుండి 4 యుగాల వరకు నడుస్తుంది, అంటే మొత్తం శిక్షణ టోకెన్‌లు మీ డేటాసెట్ పరిమాణాన్ని యుగాల సంఖ్యతో గుణిస్తే సమానంగా ఉంటాయి. ప్రాంప్ట్ ఇంజనీరింగ్ మాత్రమే కావలసిన అవుట్‌పుట్ ఫార్మాట్, టోన్ లేదా డొమైన్ నైపుణ్యాన్ని సాధించలేనప్పుడు ఫైన్-ట్యూనింగ్ ఉపయోగించబడుతుంది. సాధారణ వినియోగ సందర్భాలలో నిర్దిష్ట అవుట్‌పుట్ స్కీమాలను అనుసరించడం, బ్రాండ్ వాయిస్‌తో సరిపోలడం, చట్టం లేదా ఔషధం వంటి రంగాల్లో డొమైన్-నిర్దిష్ట పదజాలాన్ని నిర్వహించడం లేదా సముచిత వర్గీకరణ పనులపై పనితీరును మెరుగుపరచడం వంటి శిక్షణ నమూనాలు ఉంటాయి. చాలా తక్కువ-షాట్ ఉదాహరణలతో ఎక్కువ ప్రాంప్ట్‌లను ఉపయోగించే ప్రత్యామ్నాయానికి వ్యతిరేకంగా వన్-టైమ్ ట్రైనింగ్ ఖర్చుతో పాటు కొనసాగుతున్న అనుమితి ప్రీమియంతో పోల్చిన ఖర్చు-ప్రయోజన విశ్లేషణపై ఫైన్-ట్యూన్ నిర్ణయం ఆధారపడి ఉండాలి. ఈ కాలిక్యులేటర్ ML ఇంజనీర్‌లు మరియు ఉత్పత్తి బృందాలు తమ వినియోగ సందర్భంలో ఫైన్-ట్యూనింగ్ ఆర్థికంగా సమర్థించబడుతుందో లేదో నిర్ణయించడంలో సహాయపడుతుంది. ఫైన్-ట్యూన్ చేయబడిన GPT-4o-మినీ మోడల్‌కు ప్రతి మిలియన్ ఇన్‌పుట్ టోకెన్‌లకు $0.30 మరియు ప్రతి మిలియన్ అవుట్‌పుట్ టోకెన్‌లకు $1.20 ఖర్చవుతుంది, ఇది బేస్ మోడల్ ధర కంటే రెట్టింపు అవుతుంది. ప్రతి అభ్యర్థన నుండి 1,000-టోకెన్ కొన్ని-షాట్ ప్రాంప్ట్‌ను తొలగించడానికి ఫైన్-ట్యూనింగ్ మిమ్మల్ని అనుమతిస్తే, తగ్గిన ఇన్‌పుట్ టోకెన్‌లు వాస్తవానికి ఒక్కో టోకెన్ రేట్ ఎక్కువగా ఉన్నప్పటికీ ఒక్కో అభ్యర్థనకు ఫైన్-ట్యూన్ చేయబడిన మోడల్‌ను చౌకగా చేయగలవు.
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
సూత్రం
▾
మొత్తం ఫైన్-ట్యూనింగ్ ఖర్చు = శిక్షణ డేటాసెట్ టోకెన్‌లు x ఎపోచ్‌లు x 1M టోకెన్‌లకు శిక్షణ ధర / 1,000,000 + ధ్రువీకరణ ఖర్చు + డేటా తయారీ లేబర్. ఉదాహరణకు, 3 యుగాలకు పైగా 500,000 శిక్షణ టోకెన్‌లతో GPT-4o-mini ఫైన్-ట్యూనింగ్: శిక్షణ ధర = 500,000 x 3 x $8.00 / 1,000,000 = $12.00. డేటా తయారీకి $75/hr వద్ద 10 గంటలు పట్టినట్లయితే, మొత్తం ప్రాజెక్ట్ ధర = $12 + $750 = $762.వేరియబుల్ వివరణ
▾
| చిహ్నం | పేరు | యూనిట్ | వివరణ |
|---|---|---|---|
| D | శిక్షణ డేటాసెట్ పరిమాణం | tokens | JSONL డేటాసెట్‌లోని అన్ని శిక్షణా ఉదాహరణలలో మొత్తం టోకెన్ గణన, ప్రతి ఉదాహరణలో సిస్టమ్, యూజర్ మరియు అసిస్టెంట్ మెసేజ్ టోకెన్‌ల మొత్తంగా లెక్కించబడుతుంది. |
| E | శిక్షణ యుగాలు | epochs | ఫైన్-ట్యూనింగ్ సమయంలో శిక్షణ డేటాసెట్ ద్వారా పూర్తి పాస్‌ల సంఖ్య, సాధారణంగా OpenAI మోడల్‌ల కోసం 3 నుండి 4 వరకు ఉంటుంది, చిన్న డేటాసెట్‌లలో ఎక్కువ యుగాలు ఎక్కువగా సరిపోతాయి. |
| P_train | మిలియన్ టోకెన్‌లకు శిక్షణ ధర | USD per 1M tokens | శిక్షణ గణన కోసం ఒక్కో టోకెన్ ధర, ప్రస్తుతం GPT-4o-mini కోసం మిలియన్ టోకెన్‌లకు $8 మరియు GPT-4o ఫైన్-ట్యూనింగ్ కోసం మిలియన్ టోకెన్‌లకు $25. |
| P_inf | ఫైన్-ట్యూన్డ్ ఇన్ఫరెన్స్ ధర | USD per 1M tokens | ఫైన్-ట్యూన్ చేయబడిన మోడల్ కోసం ఒక్కో టోకెన్ అనుమితి ధర, ఇది సాధారణంగా బేస్ మోడల్ రేటు కంటే 2x ఉంటుంది: ఫైన్-ట్యూన్ చేయబడిన GPT-4o-mini కోసం $0.30/$1.20. |
| H | డేటా తయారీ గంటలు | hours | శిక్షణ డేటాను సేకరించడం, శుభ్రపరచడం, ఫార్మాట్ చేయడం మరియు సమీక్షించడం కోసం మానవ శ్రమ గంటలు అవసరం, ఇది సాధారణంగా ఫైన్-ట్యూనింగ్ ప్రాజెక్ట్‌ల యొక్క అతిపెద్ద వ్యయ భాగాన్ని సూచిస్తుంది. |
| R | ప్రయోగాత్మక పరుగులు | runs | ఉత్పత్తి నాణ్యతను చేరుకోవడానికి ముందు ఫైన్-ట్యూనింగ్ ప్రయోగాల సంఖ్య, సాధారణంగా డేటాసెట్‌తో 3 నుండి 5 పరుగులు మరియు ప్రతిదాని మధ్య హైపర్‌పారామీటర్ సర్దుబాట్లు. |
ఎలా LLM Fine-Tuning Cost Calculator
▾
- 1సిస్టమ్, యూజర్ మరియు అసిస్టెంట్ మెసేజ్ జతలతో అవసరమైన JSONL ఫార్మాట్‌లో మీ శిక్షణ డేటాసెట్‌ను సిద్ధం చేయండి. ప్రతి ఉదాహరణ మీరు మోడల్ నేర్చుకోవాలనుకుంటున్న ప్రవర్తనను ప్రదర్శించాలి. OpenAI కనీసం 10 ఉదాహరణలను సిఫార్సు చేస్తుంది కానీ గుర్తించదగిన నాణ్యత మెరుగుదలల కోసం 50 నుండి 100 వరకు సూచిస్తుంది. అధిక-నాణ్యత శిక్షణ డేటాను రూపొందించడానికి, సమీక్షించడానికి మరియు ధృవీకరించడానికి గణనీయమైన మానవ ప్రయత్నం అవసరం, ఇది తరచుగా ఫైన్-ట్యూనింగ్ ప్రాజెక్ట్‌ల యొక్క అతిపెద్ద దాచిన ఖర్చు.
- 2మీ శిక్షణ డేటాసెట్ యొక్క టోకెన్ గణనను లెక్కించండి. ప్రతి శిక్షణ ఉదాహరణ టోకనైజ్ చేయబడింది మరియు అన్ని ఉదాహరణలలోని మొత్తం మీ శిక్షణ ఖర్చును నిర్ణయిస్తుంది. సగటున 500 టోకెన్‌లతో కూడిన 100 ఉదాహరణల డేటాసెట్ మొత్తం 50,000 టోకెన్‌లు. శిక్షణ ఖర్చు కూడా యుగాల సంఖ్యపై ఆధారపడి ఉంటుంది (డేటాసెట్ ద్వారా పూర్తి పాస్‌లు), OpenAI 3 నుండి 4 యుగాలకు డిఫాల్ట్ అవుతుంది. మొత్తం శిక్షణ టోకెన్‌లు సమానమైన డేటాసెట్ టోకెన్‌లను యుగాలతో గుణించాలి.
- 3ఫైన్-ట్యూనింగ్ కోసం మీ బేస్ మోడల్‌ని ఎంచుకోండి. GPT-4o-mini ఫైన్-ట్యూనింగ్ ప్రతి మిలియన్ ట్రైనింగ్ టోకెన్‌లకు $8 ఖర్చవుతుంది మరియు చాలా సందర్భాలలో ఉపయోగపడుతుంది. GPT-4o ఫైన్-ట్యూనింగ్ ప్రతి మిలియన్ ట్రైనింగ్ టోకెన్‌లకు $25 ఖర్చవుతుంది మరియు అత్యధిక మోడల్ సామర్థ్యం అవసరమయ్యే పనుల కోసం రిజర్వ్ చేయబడింది. సరైన ప్రాంప్టింగ్‌తో మీ పని కోసం బేస్ మోడల్ (ఫైన్-ట్యూనింగ్‌కు ముందు) తగినంత సామర్థ్యం కలిగి ఉందో లేదో అనేదానిపై ఎంపిక ఆధారపడి ఉండాలి.
- 4ఫైన్-ట్యూనింగ్ జాబ్‌ను సమర్పించండి మరియు పురోగతిని పర్యవేక్షించండి. శిక్షణ సాధారణంగా డేటాసెట్ పరిమాణాన్ని బట్టి 30 నిమిషాల నుండి చాలా గంటల వరకు పూర్తవుతుంది. అదనపు గణన రుసుము లేకుండా, వినియోగించే శిక్షణ టోకెన్‌లకు మాత్రమే OpenAI ఛార్జ్ అవుతుంది. మీరు మీ డేటాసెట్‌లో పునరావృతం చేయడానికి అనేక ఫైన్-ట్యూనింగ్ ప్రయోగాలను అమలు చేయవచ్చు, ప్రతి పరుగు పూర్తి శిక్షణ ఖర్చుతో కూడుకున్నది. ఉత్పత్తి నాణ్యతను చేరుకోవడానికి ముందు 3 నుండి 5 ప్రయోగాత్మక పరుగుల కోసం బడ్జెట్.
- 5హోల్డ్-అవుట్ టెస్ట్ సెట్‌కు వ్యతిరేకంగా ఫైన్-ట్యూన్ చేయబడిన మోడల్‌ను మూల్యాంకనం చేయండి. కొన్ని-షాట్ ప్రాంప్టింగ్‌తో బేస్ మోడల్‌తో ఖచ్చితత్వం, ఫార్మాట్ సమ్మతి మరియు అవుట్‌పుట్ నాణ్యతను సరిపోల్చండి. ఫైన్-ట్యూన్ చేయబడిన మోడల్ ప్రాంప్ట్ చేయబడిన బేస్ మోడల్‌ను గణనీయంగా అధిగమించకపోతే, శిక్షణ ఖర్చు మరియు కొనసాగుతున్న అనుమితి ప్రీమియం సమర్థించబడవు. సుమారుగా 30 నుండి 40 శాతం ఫైన్-ట్యూనింగ్ ప్రాజెక్ట్‌లు బాగా రూపొందించిన ప్రాంప్ట్‌ల కంటే అర్ధవంతమైన మెరుగుదలలను అందించవు.
- 6కొనసాగుతున్న అనుమితి ధర ప్రీమియంను లెక్కించండి. ఫైన్-ట్యూన్ చేయబడిన GPT-4o-మినీ మోడల్‌లు ప్రతి మిలియన్ ఇన్‌పుట్ టోకెన్‌లకు $0.30 మరియు ప్రతి మిలియన్ అవుట్‌పుట్ టోకెన్‌లకు $1.20, బేస్ మోడల్‌కి $0.15 మరియు $0.60తో పోలిస్తే. ఈ 2x ప్రీమియం తప్పనిసరిగా అవుట్‌పుట్ నాణ్యతలో మెరుగుదలలు, తగ్గిన ప్రాంప్ట్ పొడవు (కొన్ని-షాట్ ఉదాహరణలు లేదా పోస్ట్-ప్రాసెసింగ్ అవసరం తగ్గడం ద్వారా తప్పక ఆఫ్‌సెట్ చేయబడాలి. చెల్లింపు వ్యవధిని నిర్ణయించడానికి నెలవారీ అనుమితి వ్యత్యాసాన్ని నమూనా చేయండి.
- 7మొత్తం ROI గణనను జరుపుము. ఒక-పర్యాయ శిక్షణ ఖర్చు, డేటా తయారీ లేబర్ మరియు కొనసాగుతున్న నెలవారీ అనుమితి వ్యత్యాసాన్ని జోడించండి. పొడవైన ప్రాంప్ట్‌లతో లేదా మరింత సామర్థ్యం గల (మరియు ఖరీదైన) బేస్ మోడల్‌తో బేస్ మోడల్‌ను ఉపయోగించే ప్రత్యామ్నాయంతో పోల్చండి. నాణ్యత మెరుగుదల అనేది కస్టమర్ సంతృప్తి, ఎర్రర్ రేట్లు లేదా ప్రాసెసింగ్ సామర్థ్యం వంటి వ్యాపార కొలమానాలపై ప్రభావం చూపినప్పుడు ఫైన్-ట్యూనింగ్ పెట్టుబడి సమర్థించబడుతుంది.
పరిష్కరించిన ఉదాహరణలు
▾
360,000 శిక్షణ టోకెన్‌ల కోసం శిక్షణ గణన ధర కనిష్టంగా $2.88గా ఉంటుంది. 200 అధిక-నాణ్యత ఇమెయిల్ ఉదాహరణలను క్యూరేట్ చేయడానికి 15 గంటల డేటా తయారీకి నిజమైన ఖర్చు అవుతుంది. డేటా తయారీ బడ్జెట్‌లో ఆధిపత్యం చెలాయించే ఫైన్-ట్యూనింగ్ ప్రాజెక్ట్‌లకు ఇది విలక్షణమైనది.
మెడికల్ డొమైన్ ఫైన్-ట్యూనింగ్‌కు నిపుణుల-సమీక్షించిన శిక్షణ డేటా అవసరం, డేటా తయారీ ఖరీదైనది. 500 ఉదాహరణలు 1,200 టోకెన్‌లు ప్రతి 4 యుగాలకు పైగా 2.4 మిలియన్ శిక్షణ టోకెన్‌లను మిలియన్‌కు $25 చొప్పున వినియోగించుకుంటాయి. ప్రతి టోకెన్ రేటు ఎక్కువగా ఉన్నప్పటికీ, డేటా తయారీకి అవసరమైన క్లినికల్ నిపుణుల సమయం కారణంగా శిక్షణ గణన ధర ఇప్పటికీ మరుగునపడింది.
సాధారణ ఫార్మాట్ సమ్మతి పనుల కోసం, 50 ఉదాహరణలు తరచుగా సరిపోతాయి. శిక్షణ ధర $1 కంటే తక్కువ. ఫైన్-ట్యూన్ చేయబడిన మోడల్ ప్రతి అభ్యర్థన నుండి 500-టోకెన్ JSON స్కీమా ప్రాంప్ట్‌ను తొలగించగలదు, GPT-4o-miniలో ప్రతి 1,000 అభ్యర్థనలకు $0.075 ఆదా అవుతుంది. 100,000 నెలవారీ అభ్యర్థనల వద్ద, నెలకు $7.50 అనుమితి పొదుపు $375 పెట్టుబడిని 50 నెలల్లో తిరిగి చెల్లిస్తుంది, కాబట్టి ప్రాంప్ట్ ఇంజనీరింగ్ ఇక్కడ ఖర్చుతో కూడుకున్నది.
నిజ జీవిత అనువర్తనాలు
▾
ఇ-కామర్స్ కంపెనీలు నిర్దిష్ట బ్రాండ్ వాయిస్ మరియు ఫార్మాట్‌లో ఉత్పత్తి వివరణలను రూపొందించడానికి GPT-4o-miniని చక్కగా ట్యూన్ చేస్తాయి. 50,000 ఉత్పత్తులతో ఉన్న రిటైలర్ 200 ఉదాహరణ వివరణలను సృష్టిస్తాడు, కంప్యూట్‌లో $3కి ఫైన్-ట్యూన్‌లు మరియు డేటా తయారీ కోసం కాపీరైటర్ సమయంలో $1,500, ఆపై మొత్తం 50,000 వివరణలను సుమారు $10 అనుమితి కోసం ఫైన్-ట్యూన్డ్ మోడల్‌ని ఉపయోగించి రూపొందించారు. ప్రతి వర్ణనను ప్రతి ఉత్పత్తికి $5 చొప్పున మాన్యువల్‌గా వ్రాసే ప్రత్యామ్నాయానికి $250,000 ఖర్చవుతుంది, దీని వలన ఫైన్-ట్యూనింగ్ 99.4 శాతం ఖర్చు తగ్గుతుంది.
హెల్త్‌కేర్ కంపెనీలు క్లినికల్ నోట్‌లను SOAP (సబ్జెక్టివ్, ఆబ్జెక్టివ్, అసెస్‌మెంట్, ప్లాన్) వంటి ప్రామాణిక ఫార్మాట్‌లలో రూపొందించడానికి నమూనాలను చక్కగా తీర్చిదిద్దుతాయి. ఒక హెల్త్ టెక్ స్టార్టప్ వైద్యుల సమయానికి $5,000 ఖర్చుతో 500 నిపుణుల-సమీక్షించిన శిక్షణా ఉదాహరణలను సిద్ధం చేస్తుంది, $60కి శిక్షణ ఇస్తుంది మరియు నెలకు 50,000 క్లినికల్ నోట్‌లను ప్రాసెస్ చేయడానికి మోడల్‌ను అమలు చేస్తుంది. ఫైన్-ట్యూన్ చేయబడిన మోడల్ 95 శాతం ఫార్మాటింగ్ ఖచ్చితత్వాన్ని 78 శాతంతో పోల్చితే కేవలం ప్రాంప్ట్ ఇంజనీరింగ్‌తో మాత్రమే పెట్టుబడిని సమర్థిస్తుంది.
ఫైనాన్షియల్ సర్వీసెస్ సంస్థలు రెగ్యులేటరీ కంప్లైయన్స్ వర్గీకరణ కోసం ఫైన్-ట్యూన్ మోడల్స్, కాంట్రాక్టులు మరియు కరస్పాండెన్స్‌లలో నిర్దిష్ట రెగ్యులేటరీ అవసరాలను గుర్తించడానికి మోడల్‌కు శిక్షణ ఇస్తాయి. సమ్మతి బృందం విశ్లేషకుల సమయంలో $12,000 ఖర్చుతో 4 వారాలలో 300 ఉల్లేఖన ఉదాహరణలను సృష్టిస్తుంది, $15 కోసం శిక్షణ ఇస్తుంది మరియు నెలకు 200,000 కమ్యూనికేషన్‌లను పరీక్షించడానికి మోడల్‌ను అమలు చేస్తుంది. ప్రామాణిక ప్రాంప్టింగ్‌తో బేస్ మోడల్ కంటే ఫైన్-ట్యూన్ చేయబడిన మోడల్ 40 శాతం ఎక్కువ సమ్మతి సమస్యలను ఎదుర్కొంటుంది.
సాఫ్ట్‌వేర్ కంపెనీలు తమ నిర్దిష్ట ఫ్రేమ్‌వర్క్ సంప్రదాయాలు మరియు కోడింగ్ ప్రమాణాలలో కోడ్‌ను రూపొందించడానికి GPT-4o-miniని చక్కగా ట్యూన్ చేస్తాయి. ప్లాట్‌ఫారమ్ బృందం వారి స్టైల్ గైడ్‌ను అనుసరించి కోడ్ పరివర్తనలకు 150 ఉదాహరణలను సృష్టిస్తుంది, $2 కోసం ఫైన్-ట్యూన్ చేస్తుంది మరియు మోడల్‌ను వారి డెవలపర్ సాధనాల్లోకి అనుసంధానిస్తుంది. డెవలపర్‌లు AI-సూచించిన కోడ్‌లో 30 శాతం తక్కువ స్టైల్ గైడ్ ఉల్లంఘనలను నివేదిస్తారు, ఒక్కో పుల్ అభ్యర్థనకు సగటున 15 నిమిషాల చొప్పున కోడ్ రివ్యూ సైకిల్‌లను తగ్గిస్తారు.
ప్రత్యేక సందర్భాలు
▾
బహుళ-భాషా మద్దతు కోసం ఫైన్-ట్యూనింగ్ చేసినప్పుడు, శిక్షణ డేటా తప్పనిసరిగా అన్ని లక్ష్య భాషలలో ఉదాహరణలను కలిగి ఉండాలి.
ఆంగ్ల ఉదాహరణలపై మాత్రమే చక్కగా ట్యూన్ చేయబడిన మోడల్ నేర్చుకున్న ప్రవర్తనను ఇతర భాషలకు విశ్వసనీయంగా వర్తించదు. 10-భాషల విస్తరణ కోసం, మీకు ఒక్కో భాషకు దాదాపు 50 నుండి 100 ఉదాహరణలు అవసరం, డేటా తయారీ ఖర్చు 10x పెరుగుతుంది. బాగా రూపొందించబడిన బహుభాషా సిస్టమ్ ప్రాంప్ట్ బహుభాషా ఫైన్-ట్యూనింగ్‌కు పాల్పడే ముందు సున్నా శిక్షణ ఖర్చుతో పోల్చదగిన ఫలితాలను సాధించవచ్చో లేదో పరిగణించండి.
హెల్త్‌కేర్, ఫైనాన్స్ లేదా చట్టపరమైన డొమైన్‌లలో భద్రత-క్లిష్టమైన అప్లికేషన్‌ల కోసం,
హెల్త్‌కేర్, ఫైనాన్స్ లేదా లీగల్ డొమైన్‌లలో భద్రత-క్లిష్టమైన అప్లికేషన్‌ల కోసం, ఫైన్-ట్యూన్ చేయబడిన మోడల్‌లకు విస్తృతమైన రెడ్-టీమింగ్ మరియు విస్తరణకు ముందు ధ్రువీకరణ అవసరం. ఈ ధ్రువీకరణ ప్రక్రియ యొక్క ధర (50 నుండి 200 గంటల డొమైన్ నిపుణుల సమీక్ష గంటకు $100 నుండి $300 వరకు) ఫైన్-ట్యూనింగ్ ధరను 10 నుండి 50 రెట్లు అధిగమించవచ్చు. ఈ ధృవీకరణ కోసం బడ్జెట్ నియంత్రిత పరిశ్రమలలో ఏదైనా ఫైన్-ట్యూనింగ్ ప్రాజెక్ట్ యొక్క తప్పనిసరి భాగం, ఐచ్ఛిక యాడ్-ఆన్‌గా కాదు.
ప్రాంప్ట్ పొడవును తగ్గించడానికి ఫైన్-ట్యూనింగ్ ఉపయోగిస్తున్నప్పుడు (కొన్ని-షాట్ ఉదాహరణలను తొలగిస్తుంది),
ప్రాంప్ట్ పొడవును తగ్గించడానికి ఫైన్-ట్యూనింగ్ ఉపయోగిస్తున్నప్పుడు (కొన్ని-షాట్ ఉదాహరణలను తొలగిస్తుంది), బ్రేక్-ఈవెన్ పాయింట్‌ను జాగ్రత్తగా లెక్కించండి. ఫైన్-ట్యూనింగ్ ఖర్చు మొత్తం $500 మరియు ప్రతి అభ్యర్థన నుండి కొన్ని-షాట్ ఉదాహరణల 800 టోకెన్‌లను తొలగిస్తే, ఇన్‌పుట్ టోకెన్‌ల కోసం GPT-4o-miniలో ఒక్కో అభ్యర్థన పొదుపు $0.00012. బ్రేక్ ఈవెన్ చేయడానికి మీకు 4.17 మిలియన్ అభ్యర్థనలు అవసరం లేదా ఒక సంవత్సరంలో నెలకు దాదాపు 347,000 అభ్యర్థనలు అవసరం. మీ వాల్యూమ్ ఈ థ్రెషోల్డ్ కంటే తక్కువగా ఉంటే, ఎక్కువ ప్రాంప్ట్‌లు ఉన్నప్పటికీ కొన్ని-షాట్ విధానం మరింత పొదుపుగా ఉంటుంది.
OpenAI ఫైన్-ట్యూనింగ్ ధర (2025)
▾
| మోడల్ | శిక్షణ (1M టోకెన్‌లకు) | అనుమితి ఇన్‌పుట్ | అనుమితి అవుట్‌పుట్ | బేస్ ఇన్‌పుట్ | బేస్ అవుట్‌పుట్ |
|---|---|---|---|---|---|
| GPT-4o-మినీ | $8.00 | $0.30/1M | $1.20/1M | $0.15/1M | $0.60/1M |
| GPT-4o | $25.00 | $3.75/1M | $15.00/1M | $2.50/1M | $10.00/1M |
| GPT-3.5-టర్బో | $8.00 | $3.00/1M | $6.00/1M | $0.50/1M | $1.50/1M |
తరచుగా అడిగే ప్రశ్నలు
▾
నాకు ఎన్ని శిక్షణ ఉదాహరణలు అవసరం?
OpenAI కనీసం 10 ఉదాహరణలను సిఫార్సు చేస్తుంది కానీ అర్ధవంతమైన నాణ్యత మెరుగుదలల కోసం 50 నుండి 100 వరకు సూచిస్తుంది. డొమైన్-నిర్దిష్ట కంటెంట్ ఉత్పత్తి వంటి క్లిష్టమైన పనుల కోసం, 200 నుండి 500 ఉదాహరణలు అవసరం కావచ్చు. 500 ఉదాహరణలకు మించి, మీ టాస్క్ చాలా ఎక్కువ వైవిధ్యాన్ని కలిగి ఉండకపోతే రాబడి తగ్గడం సాధారణం. 50 ఉదాహరణలతో ప్రారంభించండి, నాణ్యతను మూల్యాంకనం చేయండి మరియు అదనపు డేటాతో కొలమానాలు మెరుగుపడినట్లయితే మాత్రమే మరిన్ని జోడించండి.
ప్రాంప్ట్ ఇంజనీరింగ్‌తో పోలిస్తే ఫైన్-ట్యూనింగ్ ఖర్చు విలువైనదేనా?
ఫైన్-ట్యూనింగ్ విలువైనది: ఫైన్-ట్యూన్ చేయబడిన మోడల్ ప్రతి ప్రాంప్ట్ నుండి ఖరీదైన కొన్ని-షాట్ ఉదాహరణలను తొలగిస్తుంది (శిక్షణ ఖర్చు కంటే నెలకు ఎక్కువ ఆదా చేయడం), టాస్క్‌కు ప్రాంప్ట్ ఇంజనీరింగ్ సాధించలేని స్థిరత్వం అవసరం లేదా నాణ్యత మెరుగుదల నేరుగా ఆదాయాన్ని ప్రభావితం చేస్తుంది. ప్రాంప్ట్ ఇంజనీరింగ్ లక్ష్య నాణ్యతలో 90 శాతం లేదా అంతకంటే ఎక్కువ సాధించినప్పుడు, టాస్క్ సాధారణ వర్గీకరణ అయినప్పుడు లేదా కొనసాగుతున్న ప్రీమియమ్‌ను సమర్థించేందుకు అనుమితి పరిమాణం చాలా తక్కువగా ఉన్నప్పుడు అది విలువైనది కాదు.
ఫైన్-ట్యూనింగ్ చేయడానికి ఎంత సమయం పడుతుంది?
OpenAI ఫైన్-ట్యూనింగ్ సాధారణంగా డేటాసెట్ పరిమాణాన్ని బట్టి 30 నిమిషాల నుండి 3 గంటల వరకు పూర్తవుతుంది. ఒక్కో ఉదాహరణకి 500 టోకెన్‌లతో 100-ఉదాహరణ డేటాసెట్ గంటలోపు ముగుస్తుంది. ఒక్కొక్కటి 1,000 టోకెన్‌లతో కూడిన 1,000-ఉదాహరణ డేటాసెట్‌కి 2 నుండి 3 గంటలు పట్టవచ్చు. శిక్షణ పూర్తయినప్పుడు మీరు ఇమెయిల్ నోటిఫికేషన్‌ను స్వీకరిస్తారు మరియు ప్రత్యేకమైన మోడల్ ఐడెంటిఫైయర్‌తో API ద్వారా అనుమితి కోసం ఫైన్-ట్యూన్ చేయబడిన మోడల్ వెంటనే అందుబాటులో ఉంటుంది.
నేను యాజమాన్య డేటాను సురక్షితంగా ఫైన్-ట్యూన్ చేయవచ్చా?
అవును, తగిన జాగ్రత్తలతో. OpenAI వారి నమూనాల శిక్షణ కోసం API డేటాను ఉపయోగించదు. శిక్షణ ప్రక్రియ కోసం ఫైన్-ట్యూనింగ్ డేటా తాత్కాలికంగా నిల్వ చేయబడుతుంది మరియు తర్వాత తొలగించబడుతుంది. కఠినమైన డేటా గవర్నెన్స్ అవసరాలు ఉన్న సంస్థల కోసం, SOC 2 మరియు HIPAAతో సహా అదనపు ఎంటర్‌ప్రైజ్ సెక్యూరిటీ నియంత్రణలు, డేటా ఐసోలేషన్ మరియు సమ్మతి ధృవీకరణలను అందించే Azure OpenAI సర్వీస్ ద్వారా ఫైన్-ట్యూనింగ్‌ను పరిగణించండి.
ఫైన్-ట్యూనింగ్ నాణ్యతను మెరుగుపరచకపోతే ఏమి జరుగుతుంది?
సుమారు 30 నుండి 40 శాతం ఫైన్-ట్యూనింగ్ ప్రయత్నాలు అర్ధవంతమైన మెరుగుదలలను అందించవు. సాధారణ కారణాలలో తగినంత లేదా తక్కువ-నాణ్యత శిక్షణ డేటా, బేస్ మోడల్ సామర్థ్యానికి చాలా క్లిష్టమైన పనులు మరియు చిన్న డేటాసెట్‌లపై అతిగా అమర్చడం వంటివి ఉన్నాయి. మీ మొదటి ప్రయత్నం విఫలమైతే, శిక్షణ ఉదాహరణలను 2 నుండి 3 రెట్లు పెంచడానికి ప్రయత్నించండి, నిపుణుల సమీక్ష ద్వారా ఉదాహరణ నాణ్యతను మెరుగుపరచండి, యుగాల సంఖ్యను సర్దుబాటు చేయండి లేదా మరింత సామర్థ్యం గల బేస్ మోడల్‌కి మారండి.
ఫైన్-ట్యూన్డ్ మోడల్ అనుమితి ధర ఎలా పని చేస్తుంది?
ఫైన్-ట్యూన్ చేయబడిన మోడల్‌లు బేస్ మోడల్ రేటు కంటే సుమారు 2x బిల్ చేయబడతాయి. ఫైన్-ట్యూన్ చేయబడిన GPT-4o-mini ప్రతి మిలియన్ ఇన్‌పుట్ టోకెన్‌లకు $0.30 మరియు ప్రతి మిలియన్ అవుట్‌పుట్ టోకెన్‌లకు $1.20 మరియు బేస్ మోడల్‌కి $0.15 మరియు $0.60 ఖర్చు అవుతుంది. ఫైన్-ట్యూన్ చేయబడిన GPT-4o ఒక మిలియన్ ఇన్‌పుట్‌కు $3.75 మరియు ప్రతి మిలియన్ అవుట్‌పుట్‌కు $15.00 మరియు బేస్ కోసం $2.50 మరియు $10.00 ఖర్చు అవుతుంది. హోస్ట్ చేయబడిన ఫైన్-ట్యూన్డ్ మోడల్‌లు సక్రియంగా ఉన్నప్పుడు ప్రతి-గంట హోస్టింగ్ రుసుమును కూడా భరిస్తాయి.
నివారించాల్సిన సాధారణ తప్పులు
▾
- !ప్రాంప్ట్ ఇంజనీరింగ్ ఎంపికలు అయిపోయే ముందు ఫైన్-ట్యూనింగ్:
- !డేటా తయారీ ఖర్చులను తక్కువగా అంచనా వేయడం:
- !కొనసాగుతున్న అనుమితి ధర ప్రీమియంను మర్చిపోవడం:
నిపుణుడి చిట్కా
పూర్తి ఫైన్-ట్యూనింగ్ ప్రాజెక్ట్‌కు కట్టుబడి ఉండే ముందు, కేవలం 20 నుండి 30 ఉదాహరణలతో త్వరిత ప్రయోగాన్ని అమలు చేయండి. ఈ చిన్న డేటాసెట్‌తో మీ టెస్ట్ సెట్‌లో ఫైన్-ట్యూన్ చేయబడిన మోడల్ కొలవదగిన మెరుగుదలని చూపితే, అది మీ టాస్క్ కోసం ఫైన్-ట్యూనింగ్ ఆచరణీయ వ్యూహమని సూచిస్తుంది. 30 ఉదాహరణలు ఎటువంటి మెరుగుదలని చూపకపోతే, మరింత డేటాను జోడించడం సహాయం చేయదు మరియు మీరు బేస్ మోడల్ సామర్ధ్యం సరిపోతుందా లేదా టాస్క్ డెఫినిషన్‌కు శుద్ధీకరణ అవసరమా అని పరిశోధించాలి.
మీకు తెలుసా?
100 అధిక-నాణ్యత ఉదాహరణలలో GPT-4o-miniని ఫైన్-ట్యూన్ చేయడానికి గణన ధర సుమారు $0.24, ఇది వెండింగ్ మెషీన్ నుండి ఒక గమ్‌బాల్ ధర కంటే తక్కువ. వాస్తవ వ్యయం ఎల్లప్పుడూ ఆ 100 ఉదాహరణలను రూపొందించడానికి అవసరమైన మానవ నైపుణ్యం, ఇది సాధారణంగా గణన కంటే 500 నుండి 2,000 రెట్లు ఎక్కువ ఖర్చవుతుంది. ఇది అల్పమైన గణన ఖర్చులను కలిగి ఉన్నప్పటికీ, ఫైన్-ట్యూనింగ్‌ను అత్యంత మానవ-శ్రమ-ఇంటెన్సివ్ AI సాంకేతికతలలో ఒకటిగా చేస్తుంది.
Regional Guides
▾
North America▾
Europe▾
Asia-Pacific▾
సూచనలు
వారంవారీ గణిత చిట్కాలను పొందండి
ప్రతి వారం కాలిక్యులేటర్ చిట్కాలను పొందే 12,000+ చందాదారులతో చేరండి.