কী ChatGPT Token Counter?
▾
ChatGPT টোকেন কাউন্টার একটি প্রদত্ত টেক্সটে টোকেনের সংখ্যা অনুমান করে এবং GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo এবং অন্যান্য LLM সহ OpenAI মডেলগুলির জন্য সংশ্লিষ্ট API খরচ গণনা করে। টোকেন হল বৃহৎ ভাষার মডেলে পাঠ্য প্রক্রিয়াকরণের মৌলিক একক — এগুলি অক্ষর বা শব্দ নয়, তবে সাবওয়ার্ড ইউনিটগুলি সাধারণত ইংরেজিতে প্রতি টোকেন প্রতি 4টি অক্ষর বা 0.75 শব্দের গড়। API খরচ ব্যবস্থাপনা, প্রম্পট ইঞ্জিনিয়ারিং এবং মডেল প্রসঙ্গ উইন্ডো সীমার মধ্যে থাকার জন্য টোকেন গণনা বোঝা অপরিহার্য। GPT-4o একটি 128K টোকেন প্রসঙ্গ উইন্ডো সমর্থন করে, যার অর্থ একটি একক কথোপকথনে সম্মিলিত ইনপুট এবং আউটপুটের প্রায় 96,000 শব্দ অন্তর্ভুক্ত থাকতে পারে। যেহেতু API বিলিং ইনপুট এবং আউটপুট টোকেনগুলির জন্য পৃথক হার সহ টোকেন গণনার উপর ভিত্তি করে, সঠিক টোকেন অনুমান সরাসরি উন্নয়ন বাজেট এবং অ্যাপ্লিকেশন খরচকে প্রভাবিত করে।
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
সূত্র
▾
টোকেন কাউন্ট (আনুমানিক) = অক্ষর গণনা / 4, বা শব্দ সংখ্যা / 0.75। API খরচ = (ইনপুট টোকেন / 1,000,000) x ইনপুট মূল্য প্রতি মিলিয়ন + (আউটপুট টোকেন / 1,000,000) x আউটপুট মূল্য প্রতি মিলিয়ন।চলক বর্ণনা
▾
| প্রতীক | নাম | একক | বিবরণ |
|---|---|---|---|
| T | টোকেন কাউন্ট | tokens | মডেলের টোকেনাইজার দ্বারা নির্ধারিত ইনপুট বা আউটপুট টেক্সটে টোকেনের সংখ্যা (যেমন, GPT-4 এর জন্য cl100k_base) |
| C | অক্ষর গণনা | characters | টেক্সটে মোট অক্ষরের সংখ্যা — ইংরেজিতে প্রতি টোকেনে প্রায় ৪টি অক্ষর |
| Pi | ইনপুট মূল্য | USD per 1M tokens | নির্বাচিত মডেলের জন্য প্রতি মিলিয়ন ইনপুট (প্রম্পট) টোকেন খরচ |
| Po | আউটপুট মূল্য | USD per 1M tokens | নির্বাচিত মডেলের জন্য প্রতি মিলিয়ন আউটপুট (সম্পূর্ণতা) টোকেনের খরচ - সাধারণত ইনপুট মূল্যের চেয়ে 2-4x বেশি |
| W | প্রসঙ্গ উইন্ডো | tokens | সর্বাধিক সম্মিলিত ইনপুট + আউটপুট টোকেন মডেলটি একটি একক অনুরোধে সমর্থন করে |
কীভাবে ChatGPT Token Counter
▾
- 1টোকেন কাউন্টার ইনপুট ক্ষেত্রে আপনার টেক্সট পেস্ট করুন বা টাইপ করুন — টুলটি রিয়েল টাইমে এটি প্রক্রিয়া করে।
- 2কাউন্টার প্রতি টোকেন ~4 অক্ষরের আনুমানিক ব্যবহার করে টোকেন গণনা অনুমান করে (বা সুনির্দিষ্ট গণনার জন্য প্রকৃত cl100k_base টোকেনাইজার ব্যবহার করে)।
- 3আপনি যে AI মডেলটি ব্যবহার করার পরিকল্পনা করছেন সেটি নির্বাচন করুন — GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo, Claude 3, ইত্যাদি — মূল্যের পার্থক্য উল্লেখযোগ্যভাবে।
- 4ক্যালকুলেটর আপনার ইনপুট টোকেন গণনা এবং আপনার আনুমানিক আউটপুট টোকেন গণনায় মডেলের প্রতি-মিলিয়ন-টোকেন মূল্য প্রয়োগ করে।
- 5মোট API খরচ গণনা করা হয়: (ইনপুট টোকেন x ইনপুট রেট) + (আউটপুট টোকেন x আউটপুট রেট)।
- 6টুলটিও দেখায় যে মডেলের কনটেক্সট উইন্ডোর কতটা আপনার প্রম্পট খরচ করে, আপনাকে সীমার মধ্যে থাকতে সাহায্য করে।
- 7ব্যাচ অপারেশনের জন্য, মোট প্রকল্পের খরচ অনুমান করতে API কলের সংখ্যা দ্বারা প্রতি-অনুরোধের খরচকে গুণ করুন।
সমাধান করা উদাহরণ
▾
200 শব্দ / 0.75 = ~267 টোকেন ইনপুট। GPT-4o হারে ($2.50/1M ইনপুট, $10.00/1M আউটপুট): ইনপুট খরচ = 267/1M x $2.50 = $0.00067, আউটপুট খরচ = 267/1M x $10.00 = $0.00267। অনুরোধ প্রতি মোট = $0.00334। 10,000 গ্রাহক ইন্টারঅ্যাকশন/মাসে, মোট খরচ প্রায় $33.40।
10,000 শব্দ / 0.75 = ~13,333 ইনপুট টোকেন। 500 শব্দ / 0.75 = ~667 আউটপুট টোকেন। ইনপুট খরচ: 13,333/1M x $2.50 = $0.0333। আউটপুট খরচ: 667/1M x $10.00 = $0.00667। মোট = ~$0.04 প্রতি নথি। 1,000 নথির সংক্ষিপ্তকরণের জন্য প্রায় $40 খরচ হবে।
GPT-3.5 টার্বো: (1,000/1M x $0.50) + (500/1M x $1.50) = $0.0005 + $0.00075 = $0.00125। GPT-4o: (1,000/1M x $2.50) + (500/1M x $10.00) = $0.0025 + $0.005 = $0.0075। GPT-4o অনুরোধ প্রতি 6x বেশি ব্যয়বহুল কিন্তু যথেষ্ট ভাল যুক্তি এবং নির্দেশনা-অনুসরণকারী গুণমান সরবরাহ করে।
দৈনিক ইনপুট টোকেন: 500 x 100,000 = 50M। দৈনিক আউটপুট টোকেন: 300 x 100,000 = 30M। ইনপুট খরচ: 50M/1M x $0.15 = $7.50। আউটপুট খরচ: 30M/1M x $0.60 = $18.00। দৈনিক মোট = $25.50, মাসিক = ~$765। GPT-4o মিনি উচ্চ-ভলিউম অ্যাপ্লিকেশনের জন্য ডিজাইন করা হয়েছে যেখানে খরচ দক্ষতা শীর্ষ যুক্তি ক্ষমতার চেয়ে বেশি গুরুত্বপূর্ণ।
বাস্তব প্রয়োগ
▾
API বাজেটের পূর্বাভাস: বিকাশকারীরা প্রত্যাশিত অনুরোধের পরিমাণ, গড় প্রম্পট দৈর্ঘ্য এবং ইঞ্জিনিয়ারিং বাজেট সেট করার জন্য মডেল নির্বাচনের উপর ভিত্তি করে মাসিক OpenAI API খরচ অনুমান করে।
প্রম্পট অপ্টিমাইজেশান: প্রকৌশলীরা আউটপুট গুণমান বজায় রাখে এমন সবচেয়ে ব্যয়-দক্ষ ফর্মুলেশন খুঁজে পেতে বিভিন্ন প্রম্পট ডিজাইনের টোকেন সংখ্যা পরিমাপ করে।
চ্যাটবট খরচ মডেলিং: পণ্য দলগুলি এআই চ্যাটবটগুলির জন্য প্রতি-কথোপকথনের খরচ গণনা করে মূল্য নির্ধারণ করতে, মার্জিন এবং সহজ প্রশ্নের জন্য সস্তা মডেলগুলি ব্যবহার করতে হবে কিনা।
নথি প্রক্রিয়াকরণ পাইপলাইন: কোম্পানিগুলি GPT-4 এর মাধ্যমে সারসংক্ষেপ, নিষ্কাশন বা বিশ্লেষণের জন্য বড় নথি কর্পোরা (চুক্তি, মেডিকেল রেকর্ড, আইনি ফাইলিং) প্রক্রিয়াকরণের খরচ অনুমান করে।
মডেল নির্বাচন: প্রযুক্তিগত লিডগুলি তাদের অ্যাপ্লিকেশনে প্রতিটি ব্যবহারের ক্ষেত্রে সর্বোত্তম মডেল বেছে নিতে বিভিন্ন মডেল (GPT-4o বনাম ক্লড বনাম জেমিনি) জুড়ে খরচ-প্রতি-টাস্কের তুলনা করে।
বিশেষ ক্ষেত্র
▾
অ-ইংরেজি পাঠ্য এবং বহুভাষিক টোকেনাইজেশন
অ-ল্যাটিন স্ক্রিপ্টগুলি (চীনা, জাপানি, কোরিয়ান, আরবি, হিন্দি) সাধারণত ইংরেজির তুলনায় প্রতি শব্দে 2-3 গুণ বেশি টোকেন ব্যবহার করে কারণ টোকেনাইজার প্রাথমিকভাবে ইংরেজি পাঠ্যের উপর প্রশিক্ষিত ছিল। একটি 1,000-অক্ষরের চীনা টেক্সট 700-1,000 টোকেন ব্যবহার করতে পারে, যখন ইংরেজিতে একই দৈর্ঘ্য শুধুমাত্র 250 টোকেন ব্যবহার করবে। এটি বহুভাষিক অ্যাপ্লিকেশনের খরচকে উল্লেখযোগ্যভাবে প্রভাবিত করে।
কোড টোকেনাইজেশন
সোর্স কোড প্রায়ই গদ্যের চেয়ে ভিন্নভাবে টোকেনাইজ করে। সাধারণ প্রোগ্রামিং কীওয়ার্ড এবং সিনট্যাক্স সাধারণত একক টোকেন, কিন্তু পরিবর্তনশীল নাম, স্ট্রিং এবং মন্তব্য ব্যাপকভাবে পরিবর্তিত হয়। ইন্ডেন্টেশন এবং হোয়াইটস্পেস টোকেন ব্যবহার করে। মিনিফাইড কোড ফরম্যাট করা কোডের চেয়ে কম টোকেন ব্যবহার করে। পাইথন সাধারণত জাভার মত ভার্বোস ভাষার চেয়ে বেশি দক্ষতার সাথে টোকেনাইজ করে।
ক্যাশে ইনপুট টোকেন (প্রম্পট ক্যাশিং)
OpenAI GPT-4o এবং GPT-4o মিনির জন্য ক্যাশ করা ইনপুট টোকেনগুলিতে 50% ডিসকাউন্ট অফার করে যখন একই প্রম্পট প্রিফিক্স API কলগুলিতে পুনরায় ব্যবহার করা হয়। যদি আপনার সিস্টেম প্রম্পট (বলুন, 2,000 টোকেন) অনুরোধ জুড়ে অভিন্ন হয়, আপনি প্রথম কলে সম্পূর্ণ মূল্য এবং পরবর্তী কলগুলিতে অর্ধেক মূল্য সেই ক্যাশে করা টোকেনগুলির জন্য প্রদান করবেন। এটি দীর্ঘ সিস্টেম প্রম্পট সহ অ্যাপ্লিকেশনগুলির জন্য 20-40% খরচ কমাতে পারে।
OpenAI মডেলের মূল্য নির্ধারণ (2025)
▾
| মডেল | ইনপুট (প্রতি 1M টোকেন) | আউটপুট (প্রতি 1M টোকেন) | প্রসঙ্গ উইন্ডো |
|---|---|---|---|
| GPT-4o | $2.50 | $10.00 | 128K টোকেন |
| GPT-4o মিনি | $0.15 | $0.60 | 128K টোকেন |
| GPT-4 টার্বো | $10.00 | $30.00 | 128K টোকেন |
| GPT-3.5 টার্বো | $0.50 | $1.50 | 16K টোকেন |
| o1 (যুক্তি) | $15.00 | $60.00 | 200K টোকেন |
| o1-মিনি | $3.00 | $12.00 | 128K টোকেন |
| ক্লদ 3.5 সনেট (নৃতাত্ত্বিক) | $3.00 | $15.00 | 200K টোকেন |
| Gemini 1.5 Pro (Google) | $1.25 | $5.00 | 1M টোকেন |
সচরাচর জিজ্ঞাসা
▾
একটি টোকেন ঠিক কি?
একটি টোকেন হল একটি সাবওয়ার্ড ইউনিট যা এলএলএম দ্বারা পাঠ্য প্রক্রিয়া করার জন্য ব্যবহৃত হয়। 'দ্য' বা 'এবং' এর মতো সাধারণ শব্দগুলি হল একক টোকেন, যখন দীর্ঘ বা অস্বাভাবিক শব্দগুলি একাধিক টোকেনে বিভক্ত হতে পারে (যেমন, 'ক্রিপ্টোকারেন্সি' 'ক্রিপ্টো' + 'কারেন্সি' = 2 টোকেন হতে পারে)। ইংরেজিতে, 1 টোকেন গড় ~4 অক্ষর বা ~0.75 শব্দ। অ-ইংরেজি ভাষা এবং কোডের সাধারণত আলাদা টোকেন-প্রতি-শব্দ অনুপাত থাকে।
কেন আউটপুট টোকেনগুলি ইনপুট টোকেনের চেয়ে বেশি ব্যয়বহুল?
আউটপুট (সম্পূর্ণতা) টোকেনগুলির জন্য ইনপুট (প্রম্পট) টোকেনগুলির চেয়ে বেশি গণনার প্রয়োজন কারণ মডেলটিকে অবশ্যই প্রতিটি আউটপুট টোকেন ক্রমাগতভাবে তৈরি করতে হবে, প্রতিটির জন্য নিউরাল নেটওয়ার্কের মাধ্যমে একটি সম্পূর্ণ ফরোয়ার্ড পাস সম্পাদন করে। ইনপুট টোকেন সমান্তরালভাবে প্রক্রিয়া করা যেতে পারে। কম্পিউট খরচের এই অসমতা আউটপুট টোকেনের জন্য 2-4x মূল্য প্রিমিয়ামে প্রতিফলিত হয়।
প্রতি টোকেন অনুমান ~4 অক্ষর কতটা সঠিক?
4-অক্ষরের আনুমানিক মান ইংরেজি গদ্যের জন্য যুক্তিসঙ্গতভাবে সঠিক (10-15% এর মধ্যে)। যাইহোক, এটি কোডের জন্য কম সঠিক হয়ে যায় (যা সিনট্যাক্স চিহ্নের কারণে প্রতি টোকেনে 2-3টি অক্ষর ব্যবহার করতে পারে), অ-ল্যাটিন স্ক্রিপ্ট (চীনা/জাপানিরা প্রতি টোকেন 1-2টি অক্ষর ব্যবহার করতে পারে), এবং বিশেষ পরিভাষা। সুনির্দিষ্ট গণনার জন্য, OpenAI এর tiktoken লাইব্রেরি বা প্রকৃত টোকেনাইজার ব্যবহার করুন।
প্রসঙ্গ উইন্ডো কি এবং কেন এটা কোন ব্যাপার?
প্রসঙ্গ উইন্ডো হল সর্বাধিক সংখ্যক টোকেন (ইনপুট + আউটপুট একত্রিত) একটি মডেল একটি অনুরোধে প্রক্রিয়া করতে পারে। GPT-4o এর একটি 128K টোকেন উইন্ডো রয়েছে (~96,000 শব্দ)। যদি আপনার ইনপুট প্রসঙ্গ উইন্ডো অতিক্রম করে, তাহলে আপনাকে অবশ্যই ছেঁটে ফেলতে হবে, সংক্ষিপ্ত করতে হবে বা পুনরুদ্ধার-বর্ধিত প্রজন্ম (RAG) ব্যবহার করতে হবে। সীমা অতিক্রম করা একটি API ত্রুটি প্রদান করে।
সিস্টেম প্রম্পট এবং কথোপকথনের ইতিহাস কি টোকেন ব্যবহারের জন্য গণনা করে?
হ্যাঁ। প্রতিটি API কলে সম্পূর্ণ সিস্টেম প্রম্পট, সমস্ত কথোপকথনের ইতিহাস এবং ইনপুট টোকেন হিসাবে নতুন ব্যবহারকারীর বার্তা অন্তর্ভুক্ত থাকে। একটি চ্যাটবটে, কথোপকথনের ইতিহাস প্রতিটি মোড়ের সাথে বৃদ্ধি পায়, তাই কথোপকথন দীর্ঘ হওয়ার সাথে সাথে খরচ বৃদ্ধি পায়। মাল্টি-টার্ন অ্যাপ্লিকেশনগুলিতে খরচ নিয়ন্ত্রণ করতে কথোপকথন ছেঁটে ফেলা বা সংক্ষিপ্তকরণের কৌশল প্রয়োগ করুন।
কিভাবে GPT-4o মূল্য ক্লাউড এবং অন্যান্য মডেলের সাথে তুলনা করে?
2025 অনুযায়ী: GPT-4o হল $2.50/$10.00 প্রতি 1M টোকেন (ইনপুট/আউটপুট)। নৃতাত্ত্বিক ক্লড 3.5 সনেট হল $3.00/$15.00 প্রতি 1M। Google Gemini 1.5 Pro 1M প্রতি $1.25/$5.00। $0.15/$0.60 এ GPT-4o মিনি হল সবচেয়ে সস্তা ফ্রন্টিয়ার মডেলের বিকল্প। প্রদানকারীরা খরচ-পারফরম্যান্সে প্রতিযোগিতা করে বলে দাম ঘন ঘন পরিবর্তিত হয়।
এড়ানোর সাধারণ ভুল
▾
- !ধরুন 1 টোকেন = 1 শব্দ — ইংরেজিতে, 1 টোকেন হল প্রায় 0.75 শব্দ (বা 1 শব্দ = ~1.33 টোকেন), এবং এই অনুপাত অন্যান্য ভাষার জন্য উল্লেখযোগ্যভাবে পরিবর্তিত হয়।
- !কথোপকথনের ইতিহাস ভুলে গেলে প্রতিটি মোড়ে টোকেন জমা হয় — একটি 20-পালা চ্যাটবট কথোপকথন প্রতিটি পৃথক বার্তা ছোট হলেও অনুরোধ প্রতি 10,000+ ইনপুট টোকেন পাঠাতে পারে।
- !সিস্টেম প্রম্পট টোকেন খরচের জন্য হিসাব না করা, যা প্রতিটি API কলে অন্তর্ভুক্ত থাকে এবং বিস্তারিত নির্দেশের জন্য 500-2,000 টোকেন হতে পারে।
- !আউটপুট মানের পার্থক্য বিবেচনা না করে মডেলের দামের তুলনা করা — GPT-4o মিনি GPT-4o-এর তুলনায় 17x সস্তা কিন্তু কম যুক্তির ক্ষমতার কারণে একই ফলাফল পেতে আরও টোকেনের প্রয়োজন হতে পারে।
- !ইনপুট বনাম আউটপুট টোকেনগুলির জন্য পৃথক মূল্য উপেক্ষা করা — আউটপুট টোকেনগুলি 2-4 গুণ বেশি ব্যয়বহুল, তাই যে অ্যাপ্লিকেশনগুলি দীর্ঘ প্রতিক্রিয়া তৈরি করে সেগুলির দাম অসামঞ্জস্যপূর্ণভাবে বেশি।
প্রো টিপ
গুণমানকে ত্যাগ না করে API খরচ কমাতে: (1) শ্রেণীবিভাগ এবং নিষ্কাশনের মতো সাধারণ কাজের জন্য GPT-4o মিনি ব্যবহার করুন, জটিল যুক্তির জন্য GPT-4o সংরক্ষণ করুন। (2) পুনরাবৃত্ত সিস্টেম প্রম্পটে 50% ছাড় পেতে প্রম্পট ক্যাশিং প্রয়োগ করুন। (3) অপ্রত্যাশিতভাবে দীর্ঘ আউটপুট প্রতিরোধ করতে max_tokens সেট করুন। (4) সম্পূর্ণ প্রতিলিপি পাঠানোর পরিবর্তে কথোপকথনের ইতিহাস সংক্ষিপ্ত করুন। একটি ভাল-অপ্টিমাইজ করা অ্যাপ্লিকেশন নিষ্পাপ API ব্যবহারের তুলনায় 60-80% খরচ কমাতে পারে।
আপনি কি জানেন?
AI-তে 'টোকেনাইজেশন' শব্দের একটি কৌতূহলী দ্বৈত জীবন রয়েছে — প্রাকৃতিক ভাষা প্রক্রিয়াকরণে এর অর্থ হল পাঠ্যকে সাবওয়ার্ড ইউনিটে বিভক্ত করা, সাইবার সিকিউরিটিতে এর অর্থ সংবেদনশীল ডেটাকে অ-সংবেদনশীল স্থানধারক দিয়ে প্রতিস্থাপন করা। উভয় অর্থই তথ্যকে ছোট ইউনিটে রূপান্তরিত করে, কিন্তু সম্পূর্ণ ভিন্ন উদ্দেশ্যে। OpenAI-এর cl100k_base টোকেনাইজারে 100,256টি অনন্য টোকেনের শব্দভাণ্ডার রয়েছে।
Regional Guides
▾
United States▾
European Union▾
Asia-Pacific▾
তথ্যসূত্র
সাপ্তাহিক গণিত টিপস পান
১২,০০০+ সদস্যদের সাথে যোগ দিন যারা প্রতি সপ্তাহে ক্যালকুলেটর টিপস পান।