Що таке ChatGPT Token Counter?
▾
Лічильник токенів ChatGPT оцінює кількість токенів у певному тексті та розраховує відповідну вартість API для моделей OpenAI, включаючи GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo та інші LLM. Лексеми є основною одиницею обробки тексту у великих мовних моделях — це не символи чи слова, а одиниці підслів, які зазвичай містять у середньому близько 4 символів або 0,75 слів на лексему англійською мовою. Розуміння кількості токенів має важливе значення для керування витратами на API, оперативного проектування та збереження в межах вікна контексту моделі. GPT-4o підтримує контекстне вікно маркерів розміром 128 КБ, тобто одна бесіда може містити приблизно 96 000 слів комбінованого введення та виведення. Оскільки виставлення рахунків API базується на кількості токенів з окремими ставками для вхідних і вихідних токенів, точна оцінка токенів безпосередньо впливає на бюджет розробки та витрати на програму.
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
Формула
▾
Кількість маркерів (приблизна) = кількість символів / 4 або кількість слів / 0,75. Вартість API = (вхідні токени / 1 000 000) х вхідна ціна за мільйон + (вихідні токени / 1 000 000) х вихідна ціна за мільйон.Опис змінних
▾
| Символ | Ім'я | Одиниця | Опис |
|---|---|---|---|
| T | Підрахунок жетонів | tokens | Кількість токенів у вхідному або вихідному тексті, визначена токенізером моделі (наприклад, cl100k_base для GPT-4) |
| C | Кількість символів | characters | Загальна кількість символів у тексті — приблизно 4 символи на токен англійською мовою |
| Pi | Вхідна ціна | USD per 1M tokens | Ціна за мільйон введених (підказкових) токенів для вибраної моделі |
| Po | Вихідна ціна | USD per 1M tokens | Ціна за мільйон токенів виведення (завершення) для вибраної моделі — зазвичай у 2-4 рази вище, ніж ціна введення |
| W | Контекстне вікно | tokens | Максимальна кількість об’єднаних токенів введення та виведення, які модель підтримує в одному запиті |
Як ChatGPT Token Counter
▾
- 1Вставте або введіть свій текст у поле введення лічильника маркерів — інструмент обробляє його в режимі реального часу.
- 2Лічильник оцінює кількість токенів, використовуючи приблизно ~4 символи на токен (або використовує фактичний токенізер cl100k_base для точного підрахунку).
- 3Виберіть модель штучного інтелекту, яку ви плануєте використовувати — GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo, Claude 3 тощо — оскільки ціни суттєво відрізняються.
- 4Калькулятор застосовує ціноутворення моделі за мільйон токенів до вашої кількості вхідних токенів і передбачуваної кількості вихідних токенів.
- 5Загальна вартість API обчислюється: (вхідні токени х вхідна швидкість) + (вихідні токени х вихідна швидкість).
- 6Інструмент також показує, яку частину вікна контексту моделі займає ваше підказка, допомагаючи вам залишатися в межах обмежень.
- 7Для пакетних операцій помножте вартість кожного запиту на кількість викликів API, щоб оцінити загальну вартість проекту.
Розв'язані приклади
▾
200 слів / 0,75 = ~267 введених токенів. За тарифами GPT-4o (2,50 дол. США/1 млн. вхідних даних, 10,00 дол. США/1 млн. вихідних даних): вхідна вартість = 267/1 млн. дол. США x 2,50 дол. США = 0,00067 дол. США, вихідна вартість = 267/1 млн. дол. США х 10,00 дол. Усього за запит = 0,00334 дол. При 10 000 взаємодіях з клієнтами на місяць загальна вартість становить близько 33,40 доларів США.
10 000 слів / 0,75 = ~13 333 вхідних токенів. 500 слів / 0,75 = ~667 вихідних токенів. Вхідні витрати: 13 333/1M x 2,50 $ = 0,0333 $. Вихідна вартість: 667/1M x 10,00 $ = 0,00667 $. Разом = ~0,04 дол. США за документ. Узагальнення 1000 документів обійдеться приблизно в 40 доларів.
GPT-3.5 Turbo: (1000/1M x 0,50 $) + (500/1M x 1,50 $) = 0,0005 $ + 0,00075 $ = 0,00125 $. GPT-4o: (1000/1M x 2,50 $) + (500/1M x 10,00 $) = 0,0025 $ + 0,005 $ = 0,0075 $. GPT-4o в 6 разів дорожчий за запит, але забезпечує значно кращу якість аргументації та виконання інструкцій.
Щоденне введення жетонів: 500 x 100 000 = 50 млн. Щоденний вихід жетонів: 300 x 100 000 = 30 млн. Вхідна вартість: 50 млн./1 млн. х 0,15 дол. США = 7,50 дол. Вихідна вартість: 30M/1M x 0,60 $ = 18,00 $. Усього на день = 25,50 доларів США, на місяць = ~ 765 доларів США. GPT-4o mini розроблений для великих обсягів додатків, де економічна ефективність має більше значення, ніж максимальна здатність міркувати.
Практичне застосування
▾
Прогнозування бюджету API: розробники оцінюють щомісячні витрати на OpenAI API на основі очікуваних обсягів запитів, середньої тривалості підказок і вибору моделі для встановлення інженерних бюджетів.
Оптимізація підказок: інженери вимірюють кількість токенів різних конструкцій підказок, щоб знайти найбільш економічно ефективні склади, які підтримують якість результату.
Моделювання вартості чат-ботів: команди продуктів розраховують витрати на розмову для чат-ботів зі штучним інтелектом, щоб визначити ціну, маржу та чи використовувати дешевші моделі для простіших запитів.
Конвеєри обробки документів: компанії оцінюють вартість обробки великого корпусу документів (контракти, медичні записи, юридичні документи) через GPT-4 для узагальнення, вилучення або аналізу.
Вибір моделі: Технічні керівники порівнюють вартість виконання завдання для різних моделей (GPT-4o проти Claude проти Gemini), щоб вибрати оптимальну модель для кожного випадку використання у своїй програмі.
Особливі випадки
▾
Неанглійський текст і багатомовна токенізація
Нелатинські шрифти (китайська, японська, корейська, арабська, хінді) зазвичай споживають у 2-3 рази більше токенів на слово, ніж англійські, оскільки токенізер в основному навчався на англійському тексті. Китайський текст із 1000 символів може використовувати 700-1000 токенів, тоді як англійською мовою такої ж довжини буде використовуватись лише 250 токенів. Це значно впливає на вартість багатомовних програм.
Токенізація коду
Вихідний код часто лексемує інакше, ніж проза. Загальні ключові слова програмування та синтаксис зазвичай є окремими лексемами, але імена змінних, рядки та коментарі дуже відрізняються. Відступи та пробіли споживають маркери. Зменшений код використовує менше маркерів, ніж форматований код. Зазвичай Python токенізує ефективніше, ніж багатослівні мови, такі як Java.
Кешовані маркери введення (кешування запитів)
OpenAI пропонує знижку 50% на кешовані маркери введення для GPT-4o та GPT-4o mini, якщо той самий префікс підказки повторно використовується під час викликів API. Якщо ваша системна підказка (скажімо, 2000 токенів) ідентична для всіх запитів, ви платите повну ціну за перший дзвінок і половину ціни за наступні дзвінки за ці кешовані токени. Це може зменшити витрати на 20-40% для програм із довгими системними підказками.
Ціни моделі OpenAI (2025)
▾
| Модель | Введення (за 1 млн токенів) | Вихід (за 1 млн токенів) | Контекстне вікно |
|---|---|---|---|
| GPT-4o | 2,50 доларів США | 10,00 доларів США | 128 тисяч токенів |
| GPT-4o міні | 0,15 доларів США | 0,60 доларів США | 128 тисяч токенів |
| ГПТ-4 Турбо | 10,00 доларів США | 30,00 доларів США | 128 тисяч токенів |
| ГПТ-3,5 Турбо | 0,50 доларів США | 1,50 доларів США | 16 тисяч жетонів |
| o1 (міркування) | 15,00 доларів США | 60,00 доларів США | 200 тисяч жетонів |
| о1-міні | 3,00 доларів США | 12,00 доларів США | 128 тисяч токенів |
| Клод 3.5 Сонет (Антропічний) | 3,00 доларів США | 15,00 доларів США | 200 тисяч жетонів |
| Gemini 1.5 Pro (Google) | 1,25 долара США | 5,00 доларів США | 1 млн токенів |
Часті запитання
▾
Що таке токен?
Лексема — це одиниця підслова, яка використовується LLM для обробки тексту. Загальні слова, як-от «the» або «and», є окремими токенами, тоді як довші або незвичайні слова можуть бути розділені на кілька токенів (наприклад, «cryptocurrency» може бути «crypto» + «currency» = 2 токени). В англійській мові 1 лексема в середньому містить ~4 символи або ~0,75 слова. Неанглійські мови та код зазвичай мають різні співвідношення лексем на слово.
Чому вихідні токени дорожчі за вхідні?
Вихідні (завершені) токени вимагають більше обчислень, ніж вхідні (підказкові) токени, оскільки модель повинна генерувати кожен вихідний токен послідовно, виконуючи повний прямий прохід через нейронну мережу для кожного. Вхідні маркери можуть оброблятися паралельно. Ця асиметрія у вартості обчислень відображається у 2-4-кратній надбавці до ціни вихідних токенів.
Наскільки точна оцінка ~4 символів на маркер?
Наближення 4 символів є досить точним для стандартної англійської прози (в межах 10-15%). Однак він стає менш точним для коду (який може використовувати 2-3 символи на маркер через синтаксичні символи), нелатинських шрифтів (китайська/японська може використовувати 1-2 символи на маркер) і спеціальної термінології. Для точного підрахунку скористайтеся бібліотекою tiktoken OpenAI або фактичним токенизатором.
Що таке контекстне вікно і чому воно має значення?
Контекстне вікно — це максимальна кількість токенів (вхід + вихід разом), які модель може обробити в одному запиті. GPT-4o має вікно маркерів розміром 128K (~96 000 слів). Якщо введені дані виходять за рамки вікна контексту, ви повинні скоротити, підсумувати або використати пошуково-розширену генерацію (RAG). Перевищення обмеження повертає помилку API.
Чи зараховуються системні підказки та історія розмов до використання маркерів?
так Кожен виклик API містить повну системну підказку, всю історію розмов і нове повідомлення користувача як маркери введення. У чат-боті історія розмов зростає з кожним ходом, тому витрати збільшуються, коли розмови стають довшими. Впроваджуйте стратегії скорочення розмов або підсумовування, щоб контролювати витрати в багаточергових програмах.
Як ціна GPT-4o порівнюється з Claude та іншими моделями?
Станом на 2025 рік: GPT-4o становить $2,50/$10,00 за 1 млн токенів (введення/виведення). Antropic Claude 3.5 Sonnet коштує 3,00 $/15,00 $ за 1 млн. Google Gemini 1.5 Pro коштує 1,25/5,00 доларів США за 1 млн. GPT-4o mini за $0,15/$0,60 є найдешевшим варіантом передової моделі. Ціни часто змінюються, оскільки постачальники конкурують за співвідношенням ціни та ефективності.
Поширені помилки
▾
- !Якщо припустити, що 1 лексема = 1 слово — в англійській мові 1 лексема становить приблизно 0,75 слів (або 1 слово = ~1,33 лексем), і це співвідношення значно відрізняється для інших мов.
- !Забуваючи, що історія розмов накопичує маркери щоразу — 20-хідна розмова чат-бота може надсилати понад 10 000 маркерів введення за запит, навіть якщо кожне окреме повідомлення коротке.
- !Не враховуючи вартість маркера підказки системи, яка включається в кожен виклик API і може складати 500-2000 маркерів для детальних інструкцій.
- !Порівняння цін на моделі без урахування відмінностей у якості виводу — GPT-4o mini у 17 разів дешевший за GPT-4o, але може знадобитися більше токенів для досягнення того самого результату через нижчу здатність міркувати.
- !Ігноруючи окремі ціни для вхідних і вихідних токенів — вихідні токени в 2-4 рази дорожчі, тому програми, які генерують довгі відповіді, коштують непропорційно дорожче.
Порада профі
Щоб зменшити витрати на API без шкоди для якості: (1) Використовуйте GPT-4o mini для простих завдань, таких як класифікація та вилучення, залишаючи GPT-4o для складних міркувань. (2) Застосуйте кешування підказок, щоб отримати 50% знижки на повторювані системні підказки. (3) Встановіть max_tokens, щоб запобігти неочікувано довгим виводам. (4) Узагальнюйте історію розмов замість того, щоб надсилати повну стенограму. Добре оптимізована програма може скоротити витрати на 60-80% порівняно з простим використанням API.
Чи знаєте ви?
Слово «токенізація» в ШІ має дивне подвійне життя — у обробці природної мови це означає поділ тексту на підсловні одиниці, тоді як у кібербезпеці це означає заміну конфіденційних даних неконфіденційними заповнювачами. Обидва значення передбачають перетворення інформації в менші одиниці, але для абсолютно різних цілей. Токенізатор OpenAI cl100k_base має словник рівно 100 256 унікальних токенів.
Regional Guides
▾
United States▾
European Union▾
Asia-Pacific▾
Джерела
Отримуйте щотижневі поради з математики
Приєднуйтеся до 12 000+ підписників, які щотижня отримують поради щодо калькулятора.