What is ChatGPT Token Counter?
▾
ChatGPT टोकन काउंटर दिलेल्या मजकुरातील टोकनच्या संख्येचा अंदाज लावतो आणि GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo आणि इतर LLM सह OpenAI मॉडेलसाठी संबंधित API खर्चाची गणना करतो. टोकन हे मोठ्या भाषेच्या मॉडेल्समधील मजकूर प्रक्रियेचे मूलभूत एकक आहेत — ते अक्षरे किंवा शब्द नसतात, परंतु उपशब्द युनिट्स साधारणतः सरासरी 4 वर्ण किंवा इंग्रजीमध्ये प्रति टोकन 0.75 शब्द असतात. API खर्च व्यवस्थापन, प्रॉम्प्ट अभियांत्रिकी आणि मॉडेल संदर्भ विंडो मर्यादेत राहण्यासाठी टोकन संख्या समजून घेणे आवश्यक आहे. GPT-4o 128K टोकन कॉन्टेक्स्ट विंडोला सपोर्ट करते, म्हणजे एका संभाषणात एकत्रित इनपुट आणि आउटपुटचे अंदाजे 96,000 शब्द समाविष्ट असू शकतात. एपीआय बिलिंग इनपुट आणि आउटपुट टोकन्ससाठी स्वतंत्र दरांसह टोकन मोजणीवर आधारित असल्याने, अचूक टोकन अंदाज थेट विकास बजेट आणि अनुप्रयोग खर्चांवर परिणाम करतो.
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
सूत्र
▾
टोकन संख्या (अंदाजे) = वर्ण संख्या / 4, किंवा शब्द संख्या / 0.75. API किंमत = (इनपुट टोकन / 1,000,000) x इनपुट किंमत प्रति दशलक्ष + (आउटपुट टोकन / 1,000,000) x आउटपुट किंमत प्रति दशलक्ष.Variable Legend
▾
| प्रतीक | नाव | एकक | वर्णन |
|---|---|---|---|
| T | टोकन संख्या | tokens | इनपुट किंवा आउटपुट मजकूरातील टोकनची संख्या, मॉडेलच्या टोकनायझरद्वारे निर्धारित केल्यानुसार (उदा. GPT-4 साठी cl100k_base) |
| C | वर्ण संख्या | characters | मजकूरातील वर्णांची एकूण संख्या — इंग्रजीमध्ये प्रति टोकन सुमारे 4 वर्ण |
| Pi | इनपुट किंमत | USD per 1M tokens | निवडलेल्या मॉडेलसाठी प्रति दशलक्ष इनपुट (प्रॉम्प्ट) टोकनची किंमत |
| Po | आउटपुट किंमत | USD per 1M tokens | निवडलेल्या मॉडेलसाठी प्रति दशलक्ष आउटपुट (पूर्ण) टोकनची किंमत - सामान्यत: इनपुट किंमतीपेक्षा 2-4x जास्त |
| W | संदर्भ विंडो | tokens | कमाल एकत्रित इनपुट + आउटपुट टोकन एकाच विनंतीमध्ये मॉडेलचे समर्थन करते |
How to ChatGPT Token Counter
▾
- 1टोकन काउंटर इनपुट फील्डमध्ये तुमचा मजकूर पेस्ट करा किंवा टाइप करा — टूल रिअल टाइममध्ये त्यावर प्रक्रिया करते.
- 2प्रति टोकन अंदाजे ~4 वर्ण वापरून काउंटर टोकन मोजणीचा अंदाज लावतो (किंवा अचूक मोजणीसाठी वास्तविक cl100k_base टोकनायझर वापरतो).
- 3तुम्ही वापरण्याची योजना करत असलेले AI मॉडेल निवडा — GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo, Claude 3, इ. — किंमत लक्षणीय भिन्न असल्यामुळे.
- 4कॅल्क्युलेटर मॉडेलची प्रति-दशलक्ष-टोकन किंमत तुमच्या इनपुट टोकन संख्या आणि तुमच्या अनुमानित आउटपुट टोकन संख्येवर लागू करते.
- 5एकूण API खर्चाची गणना केली जाते: (इनपुट टोकन x इनपुट दर) + (आउटपुट टोकन x आउटपुट दर).
- 6तुमचा प्रॉम्प्ट मॉडेलच्या संदर्भ विंडोचा किती वापर करते हे साधन देखील दाखवते, तुम्हाला मर्यादेत राहण्यास मदत करते.
- 7बॅच ऑपरेशन्ससाठी, एकूण प्रकल्प खर्चाचा अंदाज घेण्यासाठी प्रति-विनंती खर्च API कॉलच्या संख्येने गुणाकार करा.
Worked Examples
▾
200 शब्द / 0.75 = ~267 टोकन इनपुट. GPT-4o दरांवर ($2.50/1M इनपुट, $10.00/1M आउटपुट): इनपुट किंमत = 267/1M x $2.50 = $0.00067, आउटपुट किंमत = 267/1M x $10.00 = $0.00267. एकूण प्रति विनंती = $0.00334. 10,000 ग्राहक संवाद/महिना, एकूण किंमत सुमारे $33.40 आहे.
10,000 शब्द / 0.75 = ~13,333 इनपुट टोकन. 500 शब्द / 0.75 = ~667 आउटपुट टोकन. इनपुट खर्च: 13,333/1M x $2.50 = $0.0333. आउटपुट खर्च: 667/1M x $10.00 = $0.00667. एकूण = ~$0.04 प्रति दस्तऐवज. 1,000 दस्तऐवज सारांशित करण्यासाठी सुमारे $40 खर्च येईल.
GPT-3.5 टर्बो: (1,000/1M x $0.50) + (500/1M x $1.50) = $0.0005 + $0.00075 = $0.00125. GPT-4o: (1,000/1M x $2.50) + (500/1M x $10.00) = $0.0025 + $0.005 = $0.0075. GPT-4o प्रति विनंती 6x अधिक महाग आहे परंतु बऱ्यापैकी चांगले तर्क आणि सूचना-अनुसरण गुणवत्ता प्रदान करते.
दैनिक इनपुट टोकन: 500 x 100,000 = 50M. दैनिक आउटपुट टोकन: 300 x 100,000 = 30M. इनपुट खर्च: 50M/1M x $0.15 = $7.50. आउटपुट खर्च: 30M/1M x $0.60 = $18.00. दैनिक एकूण = $25.50, मासिक = ~$765. GPT-4o मिनी उच्च-वॉल्यूम ऍप्लिकेशन्ससाठी डिझाइन केले आहे जेथे खर्च कार्यक्षमता पीक तर्क क्षमतेपेक्षा जास्त महत्त्वाची आहे.
Real-World Applications
▾
API बजेट अंदाज: विकासक अभियांत्रिकी बजेट सेट करण्यासाठी अपेक्षित विनंती खंड, सरासरी प्रॉम्प्ट लांबी आणि मॉडेल निवड यावर आधारित मासिक OpenAI API खर्चाचा अंदाज लावतात.
प्रॉम्प्ट ऑप्टिमायझेशन: अभियंते आउटपुट गुणवत्ता राखणारे सर्वात किफायतशीर फॉर्म्युलेशन शोधण्यासाठी वेगवेगळ्या प्रॉम्प्ट डिझाइनची टोकन संख्या मोजतात.
चॅटबॉट खर्चाचे मॉडेलिंग: किंमत, मार्जिन आणि सोप्या प्रश्नांसाठी स्वस्त मॉडेल वापरायचे की नाही हे निर्धारित करण्यासाठी उत्पादन कार्यसंघ AI चॅटबॉट्ससाठी प्रति-संभाषण खर्चाची गणना करतात.
दस्तऐवज प्रक्रिया पाइपलाइन: कंपन्या सारांश, निष्कर्षण किंवा विश्लेषणासाठी GPT-4 द्वारे मोठ्या दस्तऐवज कॉर्पोरा (करार, वैद्यकीय नोंदी, कायदेशीर फाइलिंग) प्रक्रिया करण्याच्या खर्चाचा अंदाज लावतात.
मॉडेल निवड: तांत्रिक लीड्स त्यांच्या ऍप्लिकेशनमधील प्रत्येक वापर केससाठी इष्टतम मॉडेल निवडण्यासाठी वेगवेगळ्या मॉडेल्समध्ये (GPT-4o वि. क्लॉड वि. जेमिनी) किंमत-प्रति-कार्य तुलना करतात.
Special Cases
▾
गैर-इंग्रजी मजकूर आणि बहुभाषिक टोकनीकरण
नॉन-लॅटिन लिपी (चीनी, जपानी, कोरियन, अरबी, हिंदी) सामान्यत: इंग्रजीपेक्षा प्रति शब्द 2-3x जास्त टोकन वापरतात कारण टोकनायझरला प्रामुख्याने इंग्रजी मजकुरावर प्रशिक्षण देण्यात आले होते. 1,000-वर्णांचा चिनी मजकूर 700-1,000 टोकन वापरू शकतो, तर इंग्रजीमध्ये समान लांबी केवळ 250 टोकन वापरू शकते. हे बहुभाषिक अनुप्रयोगांच्या खर्चावर लक्षणीय परिणाम करते.
कोड टोकनायझेशन
स्त्रोत कोड अनेकदा गद्यापेक्षा वेगळ्या प्रकारे टोकनाइज करतो. सामान्य प्रोग्रामिंग कीवर्ड आणि वाक्यरचना हे सहसा एकल टोकन असतात, परंतु व्हेरिएबल नावे, स्ट्रिंग आणि टिप्पण्या मोठ्या प्रमाणात बदलतात. इंडेंटेशन आणि व्हाइटस्पेस टोकन वापरतात. मिनिफाइड कोड फॉरमॅट केलेल्या कोडपेक्षा कमी टोकन वापरतो. Python सामान्यत: Java सारख्या शब्दशः भाषेपेक्षा अधिक कार्यक्षमतेने टोकनाइज करते.
कॅश्ड इनपुट टोकन (प्रॉम्प्ट कॅशिंग)
ओपनएआय GPT-4o आणि GPT-4o मिनीसाठी कॅश्ड इनपुट टोकन्सवर 50% सूट देते जेव्हा तेच प्रॉम्प्ट उपसर्ग API कॉल्समध्ये पुन्हा वापरला जातो. तुमचा सिस्टम प्रॉम्प्ट (म्हणा, 2,000 टोकन) सर्व विनंत्यांमध्ये सारखाच असल्यास, तुम्ही त्या कॅशे केलेल्या टोकनसाठी पहिल्या कॉलवर पूर्ण किंमत आणि त्यानंतरच्या कॉलवर अर्धी किंमत द्या. हे दीर्घ प्रणाली प्रॉम्प्ट असलेल्या अनुप्रयोगांसाठी 20-40% खर्च कमी करू शकते.
ओपनएआय मॉडेल किंमत (२०२५)
▾
| मॉडेल | इनपुट (प्रति 1M टोकन) | आउटपुट (प्रति 1M टोकन) | संदर्भ विंडो |
|---|---|---|---|
| GPT-4o | $2.50 | $10.00 | 128K टोकन |
| GPT-4o मिनी | $०.१५ | $0.60 | 128K टोकन |
| GPT-4 टर्बो | $10.00 | $३०.०० | 128K टोकन |
| GPT-3.5 टर्बो | $0.50 | $1.50 | 16K टोकन |
| o1 (तर्क) | $१५.०० | $६०.०० | 200K टोकन |
| o1-मिनी | $3.00 | $१२.०० | 128K टोकन |
| क्लॉड 3.5 सॉनेट (मानवशास्त्रीय) | $3.00 | $१५.०० | 200K टोकन |
| मिथुन १.५ प्रो (Google) | $१.२५ | $५.०० | 1M टोकन |
Frequently Asked Questions
▾
टोकन म्हणजे नक्की काय?
टोकन हे LLM द्वारे मजकूरावर प्रक्रिया करण्यासाठी वापरलेले सबवर्ड युनिट आहे. 'द' किंवा 'आणि' सारखे सामान्य शब्द एकल टोकन आहेत, तर लांब किंवा असामान्य शब्द एकाधिक टोकनमध्ये विभागले जाऊ शकतात (उदा. 'क्रिप्टोकरन्सी' 'क्रिप्टो' + 'चलन' = 2 टोकन असू शकतात). इंग्रजीमध्ये, 1 टोकन सरासरी ~4 वर्ण किंवा ~0.75 शब्द. गैर-इंग्रजी भाषा आणि कोडमध्ये सामान्यत: भिन्न टोकन-प्रति-शब्द गुणोत्तर असतात.
इनपुट टोकनपेक्षा आउटपुट टोकन अधिक महाग का आहेत?
आउटपुट (पूर्णता) टोकन्सना इनपुट (प्रॉम्प्ट) टोकन्सपेक्षा अधिक गणनेची आवश्यकता असते कारण मॉडेलने प्रत्येक आउटपुट टोकन क्रमाक्रमाने व्युत्पन्न केले पाहिजे, प्रत्येकासाठी न्यूरल नेटवर्कमधून पूर्ण फॉरवर्ड पास केले पाहिजे. इनपुट टोकन्सवर समांतर प्रक्रिया केली जाऊ शकते. गणना खर्चातील ही विषमता आउटपुट टोकनसाठी 2-4x किंमत प्रीमियममध्ये दिसून येते.
प्रति टोकन अंदाज ~4 वर्ण किती अचूक आहे?
4-वर्णांचा अंदाज मानक इंग्रजी गद्यासाठी (10-15% च्या आत) अगदी अचूक आहे. तथापि, कोडसाठी (जे वाक्यरचना चिन्हांमुळे प्रति टोकन 2-3 वर्ण वापरू शकतात), गैर-लॅटिन स्क्रिप्ट्स (चीनी/जपानी प्रति टोकन 1-2 वर्ण वापरू शकतात) आणि विशिष्ट शब्दावलीसाठी ते कमी अचूक होते. अचूक मोजणीसाठी, OpenAI ची टिकटोकन लायब्ररी किंवा वास्तविक टोकनायझर वापरा.
संदर्भ विंडो काय आहे आणि ते का महत्त्वाचे आहे?
कॉन्टेक्स्ट विंडो ही कमाल टोकन्सची संख्या आहे (इनपुट + आउटपुट एकत्रित) मॉडेल एकाच विनंतीवर प्रक्रिया करू शकते. GPT-4o मध्ये 128K टोकन विंडो आहे (~96,000 शब्द). जर तुमचे इनपुट संदर्भ विंडो ओलांडत असेल, तर तुम्ही ट्रंकेट करणे, सारांश करणे किंवा पुनर्प्राप्ती-वर्धित जनरेशन (RAG) वापरणे आवश्यक आहे. मर्यादा ओलांडल्याने API त्रुटी प्राप्त होते.
सिस्टम प्रॉम्प्ट आणि संभाषण इतिहास टोकन वापरासाठी मोजला जातो का?
होय. प्रत्येक API कॉलमध्ये संपूर्ण सिस्टम प्रॉम्प्ट, सर्व संभाषण इतिहास आणि इनपुट टोकन म्हणून नवीन वापरकर्ता संदेश समाविष्ट असतो. चॅटबॉटमध्ये, प्रत्येक वळणावर संभाषणाचा इतिहास वाढत जातो, त्यामुळे संभाषण लांबत असताना खर्च वाढतो. मल्टी-टर्न ऍप्लिकेशन्समधील खर्च नियंत्रित करण्यासाठी संभाषण ट्रंकेशन किंवा सारांश धोरण लागू करा.
GPT-4o किंमत क्लॉड आणि इतर मॉडेलशी कशी तुलना करते?
2025 पर्यंत: GPT-4o प्रति 1M टोकन्स (इनपुट/आउटपुट) $2.50/$10.00 आहे. अँथ्रोपिक क्लॉड 3.5 सॉनेट $3.00/$15.00 प्रति 1M आहे. Google Gemini 1.5 Pro $1.25/$5.00 प्रति 1M आहे. GPT-4o मिनी $0.15/$0.60 हा सर्वात स्वस्त फ्रंटियर मॉडेल पर्याय आहे. प्रदाते किंमत-कार्यप्रदर्शनावर स्पर्धा करतात म्हणून किमती वारंवार बदलतात.
Common Mistakes to Avoid
▾
- !1 टोकन = 1 शब्द गृहीत धरले तर - इंग्रजीमध्ये, 1 टोकन अंदाजे 0.75 शब्द (किंवा 1 शब्द = 1.33 टोकन) आहे आणि हे प्रमाण इतर भाषांसाठी लक्षणीयरीत्या बदलते.
- !संभाषण इतिहास विसरल्याने प्रत्येक वळणावर टोकन जमा होतात — 20-वळण चॅटबॉट संभाषण प्रत्येक विनंतीनुसार 10,000+ इनपुट टोकन पाठवू शकते जरी प्रत्येक वैयक्तिक संदेश लहान असला तरीही.
- !सिस्टम प्रॉम्प्ट टोकन खर्चाचा लेखाजोखा नाही, जो प्रत्येक API कॉलमध्ये समाविष्ट आहे आणि तपशीलवार सूचनांसाठी 500-2,000 टोकन असू शकतात.
- !आउटपुट गुणवत्तेतील फरक विचारात न घेता मॉडेलच्या किमतींची तुलना करणे — GPT-4o मिनी हे GPT-4o पेक्षा 17x स्वस्त आहे परंतु कमी तर्कशक्तीमुळे समान परिणाम प्राप्त करण्यासाठी अधिक टोकन्सची आवश्यकता असू शकते.
- !इनपुट वि. आउटपुट टोकन्ससाठी स्वतंत्र किंमतीकडे दुर्लक्ष करणे — आउटपुट टोकन 2-4x अधिक महाग आहेत, त्यामुळे दीर्घ प्रतिसाद निर्माण करणाऱ्या ऍप्लिकेशन्सची किंमत विषम आहे.
Pro Tip
गुणवत्तेचा त्याग न करता API खर्च कमी करण्यासाठी: (1) वर्गीकरण आणि निष्कर्षण यासारख्या साध्या कार्यांसाठी GPT-4o मिनी वापरा, GPT-4o क्लिष्ट तर्कासाठी राखून ठेवा. (2) वारंवार सिस्टम प्रॉम्प्टवर 50% सूट मिळविण्यासाठी प्रॉम्प्ट कॅशिंग लागू करा. (3) अनपेक्षितपणे लांब आउटपुट टाळण्यासाठी max_tokens सेट करा. (4) संपूर्ण उतारा पाठवण्याऐवजी संभाषण इतिहासाचा सारांश द्या. निष्कलंक API वापराच्या तुलनेत एक उत्तम प्रकारे ऑप्टिमाइझ केलेला अनुप्रयोग खर्चात 60-80% कपात करू शकतो.
Did you know?
AI मधील 'टोकनायझेशन' या शब्दाचे जिज्ञासू दुहेरी जीवन आहे — नैसर्गिक भाषेच्या प्रक्रियेमध्ये याचा अर्थ मजकूराचे सबवर्ड युनिट्समध्ये विभाजन करणे असा होतो, तर सायबरसुरक्षिततेमध्ये याचा अर्थ संवेदनशील डेटाला गैर-संवेदनशील प्लेसहोल्डर्ससह बदलणे. दोन्ही अर्थांमध्ये माहितीचे रूपांतर लहान युनिट्समध्ये करणे समाविष्ट आहे, परंतु पूर्णपणे भिन्न हेतूंसाठी. OpenAI च्या cl100k_base tokenizer मध्ये अगदी 100,256 अद्वितीय टोकनचा शब्दसंग्रह आहे.
Regional Guides
▾
United States▾
European Union▾
Asia-Pacific▾
References
साप्ताहिक गणित टिप्स मिळवा
दर आठवड्याला कॅल्क्युलेटर टिपा मिळवणाऱ्या १२,०००+ सदस्यांमध्ये सामील व्हा.