କ'ଣ ChatGPT Token Counter?
▾
ଚାଟ୍ ଜିପିଟି ଟୋକେନ୍ କାଉଣ୍ଟର ଏକ ପ୍ରଦତ୍ତ ପାଠ୍ୟରେ ଟୋକେନ୍ ସଂଖ୍ୟା ଆକଳନ କରେ ଏବଂ GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo, ଏବଂ ଅନ୍ୟାନ୍ୟ LLM ସହିତ OpenAI ମଡେଲଗୁଡିକ ପାଇଁ ଜଡିତ API ମୂଲ୍ୟ ଗଣନା କରେ | ଟୋକେନ୍ ଗୁଡିକ ବୃହତ ଭାଷା ମଡେଲଗୁଡିକରେ ପାଠ୍ୟ ପ୍ରକ୍ରିୟାକରଣର ମ fundamental ଳିକ ଏକକ - ସେଗୁଡ଼ିକ ଅକ୍ଷର କିମ୍ବା ଶବ୍ଦ ନୁହେଁ, କିନ୍ତୁ ସବୱାର୍ଡ ୟୁନିଟ୍ ସାଧାରଣତ English ହାରାହାରି 4 ଅକ୍ଷର କିମ୍ବା ଇଂରାଜୀରେ ଟୋକେନ୍ ପ୍ରତି 0.75 ଶବ୍ଦ | API ମୂଲ୍ୟ ପରିଚାଳନା, ପ୍ରମ୍ପ୍ଟ ଇଞ୍ଜିନିୟରିଂ ଏବଂ ମଡେଲ ପ୍ରସଙ୍ଗ ୱିଣ୍ଡୋ ସୀମା ମଧ୍ୟରେ ରହିବା ପାଇଁ ଟୋକେନ୍ ଗଣନା ବୁ standing ିବା ଜରୁରୀ | GPT-4o ଏକ 128K ଟୋକନ୍ ପ୍ରସଙ୍ଗ ୱିଣ୍ଡୋକୁ ସମର୍ଥନ କରେ, ଅର୍ଥାତ୍ ଗୋଟିଏ ବାର୍ତ୍ତାଳାପରେ ପ୍ରାୟ 96,000 ଶବ୍ଦ ମିଳିତ ଇନପୁଟ୍ ଏବଂ ଆଉଟପୁଟ୍ ଅନ୍ତର୍ଭୂକ୍ତ ହୋଇପାରେ | ଯେହେତୁ API ବିଲିଂ ଇନପୁଟ୍ ଏବଂ ଆଉଟପୁଟ୍ ଟୋକେନ୍ ପାଇଁ ପୃଥକ ହାର ସହିତ ଟୋକେନ୍ ଗଣନା ଉପରେ ଆଧାରିତ, ସଠିକ୍ ଟୋକେନ୍ ଆକଳନ ସିଧାସଳଖ ବିକାଶ ବଜେଟ୍ ଏବଂ ପ୍ରୟୋଗ ଖର୍ଚ୍ଚ ଉପରେ ପ୍ରଭାବ ପକାଇଥାଏ |
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
ସୂତ୍ର
▾
ଟୋକେନ୍ ଗଣନା (ଆନୁମାନିକ) = ଅକ୍ଷର ଗଣନା / 4, କିମ୍ବା ୱାର୍ଡ ଗଣନା / 0.75 | API ମୂଲ୍ୟ = (ଇନପୁଟ୍ ଟୋକେନ୍ / 1,000,000) x ମିଲିୟନ୍ ପ୍ରତି ଇନପୁଟ୍ ମୂଲ୍ୟ + (ଆଉଟପୁଟ୍ ଟୋକେନ୍ / 1,000,000) x ମିଲିୟନ୍ ପ୍ରତି ଆଉଟପୁଟ୍ ମୂଲ୍ୟ |ଚଳ ବ୍ୟାଖ୍ୟା
▾
| ସଙ୍କେତ | ନାମ | ଏକକ | Description |
|---|---|---|---|
| T | ଟୋକେନ୍ ଗଣନା | | tokens | ଇନପୁଟ୍ କିମ୍ବା ଆଉଟପୁଟ୍ ପାଠ୍ୟରେ ଟୋକେନ୍ ସଂଖ୍ୟା, ଯେପରି ମଡେଲର ଟୋକେନାଇଜର୍ ଦ୍ determined ାରା ନିର୍ଣ୍ଣୟ କରାଯାଇଛି (ଯଥା, GPT-4 ପାଇଁ cl100k_base) |
| C | ଅକ୍ଷର ଗଣନା | characters | ପାଠ୍ୟରେ ସମୁଦାୟ ଅକ୍ଷର ସଂଖ୍ୟା - ଇଂରାଜୀରେ ଟୋକେନ୍ ପ୍ରତି ପ୍ରାୟ 4 ଅକ୍ଷର | |
| Pi | ନିବେଶ ମୂଲ୍ୟ | USD per 1M tokens | ମନୋନୀତ ମଡେଲ ପାଇଁ ପ୍ରତି ମିଲିୟନ୍ ଇନପୁଟ୍ (ପ୍ରମ୍ପ୍ଟ) ଟୋକେନ୍ ମୂଲ୍ୟ | |
| Po | ଆଉଟପୁଟ୍ ମୂଲ୍ୟ | USD per 1M tokens | ମନୋନୀତ ମଡେଲ ପାଇଁ ପ୍ରତି ମିଲିୟନ୍ ଆଉଟପୁଟ୍ (ସମାପ୍ତି) ଟୋକେନ୍ ମୂଲ୍ୟ - ସାଧାରଣତ input ଇନପୁଟ୍ ମୂଲ୍ୟଠାରୁ 2-4x ଅଧିକ | |
| W | ପ୍ରସଙ୍ଗ ୱିଣ୍ଡୋ | | tokens | ଗୋଟିଏ ଅନୁରୋଧରେ ମଡେଲ୍ ସମର୍ଥନ କରୁଥିବା ସର୍ବାଧିକ ମିଳିତ ଇନପୁଟ୍ + ଆଉଟପୁଟ୍ ଟୋକେନ୍ | |
କିପରି ChatGPT Token Counter
▾
- 1ଟୋକେନ୍ କାଉଣ୍ଟର ଇନପୁଟ୍ ଫିଲ୍ଡରେ ତୁମର ପାଠ ପେଷ୍ଟ କିମ୍ବା ଟାଇପ୍ କର - ଟୁଲ୍ ଏହାକୁ ପ୍ରକୃତ ସମୟରେ ପ୍ରକ୍ରିୟାକରଣ କରେ |
- 2କାଉଣ୍ଟର ଟୋକେନ୍ ପ୍ରତି ~ 4 ଅକ୍ଷରର ଆନୁମାନିକ ବ୍ୟବହାର କରି ଟୋକେନ୍ ଗଣନା କରିଥାଏ (କିମ୍ବା ସଠିକ୍ ଗଣନା ପାଇଁ ପ୍ରକୃତ cl100k_base ଟୋକେନାଇଜର୍ ବ୍ୟବହାର କରେ) |
- 3ଆପଣ ବ୍ୟବହାର କରିବାକୁ ଯୋଜନା କରୁଥିବା AI ମଡେଲକୁ ବାଛନ୍ତୁ - GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo, Claude 3, ଇତ୍ୟାଦି - ମୂଲ୍ୟ ନିର୍ଦ୍ଦିଷ୍ଟ ଭାବରେ ଭିନ୍ନ |
- 4କାଲକୁଲେଟର ତୁମର ଇନପୁଟ୍ ଟୋକେନ୍ ଗଣନା ଏବଂ ତୁମର ଆନୁମାନିକ ଆଉଟପୁଟ୍ ଟୋକେନ୍ ଗଣନାରେ ମଡେଲର ପ୍ରତି ମିଲିୟନ୍ ଟୋକେନ୍ ମୂଲ୍ୟ ପ୍ରୟୋଗ କରେ |
- 5ସମୁଦାୟ API ମୂଲ୍ୟ ଗଣନା କରାଯାଇଛି: (ଇନପୁଟ୍ ଟୋକେନ୍ x ଇନପୁଟ୍ ହାର) + (ଆଉଟପୁଟ୍ ଟୋକେନ୍ x ଆଉଟପୁଟ୍ ହାର) |
- 6ଟୁଲ୍ ମଧ୍ୟ ଦର୍ଶାଏ ଯେ ତୁମର ପ୍ରମ୍ପ୍ଟ୍ ମଡେଲର ପ୍ରସଙ୍ଗ ୱିଣ୍ଡୋ କେତେ ଖର୍ଚ୍ଚ କରେ, ତୁମକୁ ସୀମା ମଧ୍ୟରେ ରହିବାକୁ ସାହାଯ୍ୟ କରେ |
- 7ବ୍ୟାଚ୍ ଅପରେସନ୍ ପାଇଁ, ସମୁଦାୟ ପ୍ରୋଜେକ୍ଟ ମୂଲ୍ୟ ଆକଳନ କରିବାକୁ API କଲ୍ ସଂଖ୍ୟା ଅନୁଯାୟୀ ପ୍ରତି ଅନୁରୋଧ ମୂଲ୍ୟକୁ ଗୁଣ କରନ୍ତୁ |
ସମାଧାନ ହୋଇଥିବା ଉଦାହରଣ
▾
200 ଶବ୍ଦ / 0.75 = ~ 267 ଟୋକେନ୍ ଇନପୁଟ୍ | GPT-4o ହାରରେ ($ 2.50 / 1M ଇନପୁଟ୍, $ 10.00 / 1 ମି ଆଉଟପୁଟ୍): ଇନପୁଟ୍ ମୂଲ୍ୟ = 267 / 1M x $ 2.50 = $ 0.00067, ଆଉଟପୁଟ୍ ମୂଲ୍ୟ = 267 / 1M x $ 10.00 = $ 0.00267 | ଅନୁରୋଧ ପାଇଁ ସମୁଦାୟ = $ 0.00334 | 10,000 ଗ୍ରାହକଙ୍କ ପାରସ୍ପରିକ କାର୍ଯ୍ୟ / ମାସରେ, ମୋଟ ମୂଲ୍ୟ ହେଉଛି $ 33.40 |
10,000 ଶବ୍ଦ / 0.75 = ~ 13,333 ଇନପୁଟ୍ ଟୋକେନ୍ | 500 ଶବ୍ଦ / 0.75 = ~ 667 ଆଉଟପୁଟ୍ ଟୋକେନ୍ | ନିବେଶ ମୂଲ୍ୟ: 13,333 / 1M x $ 2.50 = $ 0.0333 | ଆଉଟପୁଟ୍ ମୂଲ୍ୟ: 667 / 1M x $ 10.00 = $ 0.00667 | ଡକ୍ୟୁମେଣ୍ଟ୍ ପାଇଁ ସମୁଦାୟ = ~ $ 0.04 | 1000 ଡକ୍ୟୁମେଣ୍ଟକୁ ସଂକ୍ଷେପରେ ପ୍ରାୟ 40 ଡଲାର ଖର୍ଚ୍ଚ ହେବ |
GPT-3.5 ଟର୍ବୋ: (1,000 / 1M x $ 0.50) + (500 / 1M x $ 1.50) = $ 0.0005 + $ 0.00075 = $ 0.00125 GPT-4o: (1,000 / 1M x $ 2.50) + (500 / 1M x $ 10.00) = $ 0.0025 + $ 0.005 = $ 0.0075 GPT-4o ଅନୁରୋଧ ପାଇଁ 6x ଅଧିକ ମହଙ୍ଗା କିନ୍ତୁ ଯଥେଷ୍ଟ ଉତ୍ତମ ଯୁକ୍ତି ଏବଂ ନିର୍ଦ୍ଦେଶ-ନିମ୍ନ ଗୁଣ ପ୍ରଦାନ କରେ |
ଦ Daily ନିକ ଇନପୁଟ୍ ଟୋକେନ୍: 500 x 100,000 = 50 ମି। ଦ Daily ନିକ ଆଉଟପୁଟ୍ ଟୋକେନ୍: 300 x 100,000 = 30 ମି। ଇନପୁଟ୍ ମୂଲ୍ୟ: 50M / 1M x $ 0.15 = $ 7.50 | ଆଉଟପୁଟ୍ ମୂଲ୍ୟ: 30M / 1M x $ 0.60 = $ 18.00 | ଦ Daily ନିକ ସମୁଦାୟ = $ 25.50, ମାସିକ = ~ $ 765 | GPT-4o ମିନି ଉଚ୍ଚ-ଭଲ୍ୟୁମ୍ ପ୍ରୟୋଗଗୁଡ଼ିକ ପାଇଁ ଡିଜାଇନ୍ ହୋଇଛି ଯେଉଁଠାରେ ମୂଲ୍ୟ ଦକ୍ଷତା ଶିଖିବା କ୍ଷମତାଠାରୁ ଅଧିକ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ |
ବ୍ୟାବହାରିକ ପ୍ରୟୋଗ
▾
API ବଜେଟ୍ ପୂର୍ବାନୁମାନ: ଇଞ୍ଜିନିୟରିଂ ବଜେଟ୍ ସେଟ୍ କରିବାକୁ ଆଶା କରାଯାଉଥିବା ଅନୁରୋଧ ପରିମାଣ, ହାରାହାରି ପ୍ରମ୍ପ୍ଟ ଲମ୍ବ, ଏବଂ ମଡେଲ୍ ଚୟନ ଉପରେ ଆଧାର କରି ବିକାଶକାରୀମାନେ ମାସିକ OpenAI API ଖର୍ଚ୍ଚ ଆକଳନ କରନ୍ତି |
ପ୍ରମ୍ପ୍ଟ ଅପ୍ଟିମାଇଜେସନ୍: ବହୁ ମୂଲ୍ୟବାନ ଫଳପ୍ରଦ ସୂତ୍ର ଖୋଜିବା ପାଇଁ ଇଞ୍ଜିନିୟର୍ମାନେ ବିଭିନ୍ନ ପ୍ରମ୍ପ୍ଟ ଡିଜାଇନ୍ ର ଟୋକେନ୍ ଗଣନା କରନ୍ତି ଯାହା ଆଉଟପୁଟ୍ ଗୁଣବତ୍ତା ବଜାୟ ରଖେ |
ଚାଟବଟ୍ ମୂଲ୍ୟ ମଡେଲିଂ: ମୂଲ୍ୟ, ମାର୍ଜିନ ନିର୍ଣ୍ଣୟ କରିବା ପାଇଁ ଏବଂ ସରଳ ପ୍ରଶ୍ନଗୁଡ଼ିକ ପାଇଁ ଶସ୍ତା ମଡେଲ ବ୍ୟବହାର କରାଯିବ କି ନାହିଁ ତାହା ନିର୍ଣ୍ଣୟ କରିବା ପାଇଁ ଉତ୍ପାଦ ଦଳଗୁଡିକ AI ଚାଟବଟ୍ ପାଇଁ ପ୍ରତି ବାର୍ତ୍ତାଳାପ ମୂଲ୍ୟ ଗଣନା କରନ୍ତି |
ଡକ୍ୟୁମେଣ୍ଟ ପ୍ରକ୍ରିୟାକରଣ ପାଇପଲାଇନ: ସଂକ୍ଷିପ୍ତକରଣ, ଉତ୍ତୋଳନ କିମ୍ବା ବିଶ୍ଳେଷଣ ପାଇଁ GPT-4 ମାଧ୍ୟମରେ ବୃହତ ଡକ୍ୟୁମେଣ୍ଟ କର୍ପୋରା (ଚୁକ୍ତିନାମା, ଡାକ୍ତରୀ ରେକର୍ଡ, ଆଇନଗତ ଫାଇଲ୍) ପ୍ରକ୍ରିୟାକରଣର ମୂଲ୍ୟ କମ୍ପାନୀଗୁଡିକ ଆକଳନ କରନ୍ତି |
ମଡେଲ୍ ଚୟନ: ଯାନ୍ତ୍ରିକ ଲିଡ୍ଗୁଡ଼ିକ ସେମାନଙ୍କ ପ୍ରୟୋଗରେ ପ୍ରତ୍ୟେକ ବ୍ୟବହାର ମାମଲା ପାଇଁ ସର୍ବୋତ୍ତମ ମଡେଲ୍ ବାଛିବା ପାଇଁ ବିଭିନ୍ନ ମଡେଲ୍ (GPT-4o ବନାମ କ୍ଲାଉଡ୍ ବନାମ ମିଥୁନ) ମଧ୍ୟରେ ମୂଲ୍ୟ-ଟାସ୍କ ତୁଳନା କରନ୍ତୁ |
ବିଶେଷ ଘଟଣା
▾
ଅଣ-ଇଂରାଜୀ ପାଠ୍ୟ ଏବଂ ବହୁଭାଷୀ ଟୋକେନାଇଜେସନ୍ |
ଅଣ-ଲାଟିନ୍ ସ୍କ୍ରିପ୍ଟଗୁଡିକ (ଚାଇନିଜ୍, ଜାପାନିଜ୍, କୋରିଆନ୍, ଆରବୀ, ହିନ୍ଦୀ) ସାଧାରଣତ English ଇଂରାଜୀ ଅପେକ୍ଷା ଶବ୍ଦ ପ୍ରତି 2-3x ଅଧିକ ଟୋକେନ୍ ଖାଏ କାରଣ ଟୋକେନାଇଜର ମୁଖ୍ୟତ English ଇଂରାଜୀ ପାଠ୍ୟ ଉପରେ ତାଲିମ ପ୍ରାପ୍ତ ହୋଇଥିଲା | ଏକ 1000 ଅକ୍ଷର ବିଶିଷ୍ଟ ଚାଇନିଜ୍ ପାଠ୍ୟ ହୁଏତ 700-1,000 ଟୋକେନ୍ ବ୍ୟବହାର କରିପାରିବ, ଯେତେବେଳେ ଇଂରାଜୀରେ ସମାନ ଲମ୍ବ କେବଳ 250 ଟୋକେନ୍ ବ୍ୟବହାର କରିବ | ବହୁଭାଷୀ ପ୍ରୟୋଗଗୁଡ଼ିକ ପାଇଁ ଏହା ମୂଲ୍ୟକୁ ଯଥେଷ୍ଟ ପ୍ରଭାବିତ କରିଥାଏ |
କୋଡ୍ ଟୋକେନାଇଜେସନ୍ |
ଉତ୍ସ କୋଡ୍ ପ୍ରାୟତ prose ଗଦ୍ୟ ଅପେକ୍ଷା ଭିନ୍ନ ଭାବରେ ଟୋକେନ୍ କରିଥାଏ | ସାଧାରଣ ପ୍ରୋଗ୍ରାମିଂ କୀ ଶବ୍ଦ ଏବଂ ବାକ୍ୟବିନ୍ୟାସ ସାଧାରଣତ single ଏକକ ଟୋକେନ୍, କିନ୍ତୁ ପରିବର୍ତ୍ତନଶୀଳ ନାମ, ଷ୍ଟ୍ରିଙ୍ଗ, ଏବଂ ମନ୍ତବ୍ୟଗୁଡିକ ଭିନ୍ନ ଭିନ୍ନ | ଇଣ୍ଡେଣ୍ଟେସନ୍ ଏବଂ ହ୍ ites ାଇଟସ୍ପେସ୍ ଟୋକେନ୍ ଖାଏ | ଫର୍ମାଟ୍ ହୋଇଥିବା କୋଡ୍ ଅପେକ୍ଷା ମିନିଫାଇଡ୍ କୋଡ୍ କମ୍ ଟୋକେନ୍ ବ୍ୟବହାର କରେ | ପାଇଥନ୍ ସାଧାରଣତ Java ଜାଭା ପରି ଭର୍ସବୋଜ୍ ଭାଷା ଅପେକ୍ଷା ଅଧିକ ଦକ୍ଷତାର ସହିତ ଟୋକେନ୍ କରିଥାଏ |
କ୍ୟାଚ୍ ହୋଇଥିବା ଇନପୁଟ୍ ଟୋକେନ୍ (ପ୍ରମ୍ପ୍ଟ କ୍ୟାଚିଂ)
GPT-4o ଏବଂ GPT-4o ମିନି ପାଇଁ କ୍ୟାଚ୍ ହୋଇଥିବା ଇନପୁଟ୍ ଟୋକେନ୍ ଉପରେ OpenAI 50% ରିହାତି ପ୍ରଦାନ କରେ ଯେତେବେଳେ ସମାନ କଲ୍ ପ୍ରମ୍ପିକ୍ସ API କଲ୍ ମଧ୍ୟରେ ପୁନ used ବ୍ୟବହାର ହୁଏ | ଯଦି ଆପଣଙ୍କର ସିଷ୍ଟମ୍ ପ୍ରମ୍ପ୍ଟ (କୁହନ୍ତୁ, 2,000 ଟୋକେନ୍) ଅନୁରୋଧ ମଧ୍ୟରେ ସମାନ, ଆପଣ ପ୍ରଥମ କଲ୍ ଉପରେ ପୂର୍ଣ୍ଣ ମୂଲ୍ୟ ଏବଂ ସେହି କ୍ୟାଚ୍ ଟୋକେନ୍ ପାଇଁ ପରବର୍ତ୍ତୀ କଲ୍ ଉପରେ ଅଧା ମୂଲ୍ୟ ଦେବେ | ଲମ୍ବା ସିଷ୍ଟମ୍ ପ୍ରମ୍ପ୍ଟ ସହିତ ପ୍ରୟୋଗଗୁଡ଼ିକ ପାଇଁ ଏହା 20-40% ଖର୍ଚ୍ଚ ହ୍ରାସ କରିପାରିବ |
OpenAI ମଡେଲ୍ ମୂଲ୍ୟ (2025)
▾
| ମଡେଲ୍ | | ଇନପୁଟ୍ (1 ମି ଟୋକେନ୍ ପ୍ରତି) | ଆଉଟପୁଟ୍ (1 ମି ଟୋକେନ୍ ପ୍ରତି) | ପ୍ରସଙ୍ଗ ୱିଣ୍ଡୋ | |
|---|---|---|---|
| GPT-4o | $ 2.50 | $ 10.00 | 128K ଟୋକେନ୍ | |
| GPT-4o ମିନି | | $ 0.15 | $ 0.60 | 128K ଟୋକେନ୍ | |
| GPT-4 ଟର୍ବୋ | | $ 10.00 | $ 30.00 | 128K ଟୋକେନ୍ | |
| GPT-3.5 ଟର୍ବୋ | | $ 0.50 | $ 1.50 | 16K ଟୋକେନ୍ | |
| o1 (ଯୁକ୍ତି) | $ 15.00 | $ 60.00 | 200K ଟୋକେନ୍ | |
| o1-mini | $ 3.00 | $ 12.00 | 128K ଟୋକେନ୍ | |
| କ୍ଲୋଡ୍ 3.5। Son ସୋନେଟ୍ (ଆନ୍ଥ୍ରୋପିକ୍) | $ 3.00 | $ 15.00 | 200K ଟୋକେନ୍ | |
| ମିଥୁନ 1.5 ପ୍ରୋ (ଗୁଗୁଲ୍) | $ 1.25 | $ 5.00 | 1 ମି ଟୋକେନ୍ | |
ବାରମ୍ବାର ଜିଜ୍ଞାସା
▾
ଏକ ଟୋକନ୍ ପ୍ରକୃତରେ କ’ଣ?
ଏକ ଟୋକନ୍ ହେଉଛି ଟେକ୍ସଟ୍ ପ୍ରକ୍ରିୟାକରଣ ପାଇଁ LLM ଦ୍ୱାରା ବ୍ୟବହୃତ ଏକ ଉପ-ଶବ୍ଦ ଏକକ | ସାଧାରଣ ଶବ୍ଦଗୁଡିକ 'କିମ୍ବା' ଏବଂ 'ଏକକ ଟୋକେନ୍ ହୋଇଥିବାବେଳେ ଲମ୍ବା କିମ୍ବା ଅସାଧାରଣ ଶବ୍ଦଗୁଡିକ ଏକାଧିକ ଟୋକେନ୍ରେ ବିଭକ୍ତ ହୋଇପାରେ (ଯଥା,' କ୍ରିପ୍ଟୋକରେନ୍ସି 'ହୁଏତ' କ୍ରିପ୍ଟୋ '+' ମୁଦ୍ରା '= 2 ଟୋକେନ୍) | ଇଂରାଜୀରେ, 1 ଟୋକେନ୍ ହାରାହାରି ~ 4 ଅକ୍ଷର କିମ୍ବା ~ 0.75 ଶବ୍ଦ | ଅଣ-ଇଂରାଜୀ ଭାଷା ଏବଂ ସଂକେତର ସାଧାରଣତ different ଭିନ୍ନ ଟୋକେନ୍-ପ୍ରତି ଶବ୍ଦ ଅନୁପାତ ଥାଏ |
ଇନପୁଟ୍ ଟୋକେନ୍ ଅପେକ୍ଷା ଆଉଟପୁଟ୍ ଟୋକେନ୍ କାହିଁକି ମହଙ୍ଗା?
ଆଉଟପୁଟ୍ (ସମାପ୍ତି) ଟୋକେନ୍ ଗୁଡିକ ଇନପୁଟ୍ (ପ୍ରମ୍ପ୍ଟ) ଟୋକେନ୍ ଅପେକ୍ଷା ଅଧିକ ଗଣନା ଆବଶ୍ୟକ କରେ କାରଣ ମଡେଲ୍ ନିଶ୍ଚିତ ଭାବରେ ପ୍ରତ୍ୟେକ ଆଉଟପୁଟ୍ ଟୋକେନ୍ ସୃଷ୍ଟି କରିବା ଉଚିତ, ପ୍ରତ୍ୟେକ ପାଇଁ ସ୍ନାୟୁ ନେଟୱାର୍କ ମାଧ୍ୟମରେ ଏକ ପୂର୍ଣ୍ଣ ଅଗ୍ରଗାମୀ ପାସ୍ କରିବା | ସମାନ୍ତରାଳ ଭାବରେ ଇନପୁଟ୍ ଟୋକେନ୍ ପ୍ରକ୍ରିୟାକରଣ କରାଯାଇପାରେ | ଗଣନା ମୂଲ୍ୟରେ ଏହି ଅସମାନତା ଆଉଟପୁଟ୍ ଟୋକେନ୍ ପାଇଁ 2-4x ମୂଲ୍ୟ ପ୍ରିମିୟମରେ ପ୍ରତିଫଳିତ ହୁଏ |
ଟୋକେନ୍ ଆକଳନ ପାଇଁ ~ 4 ଅକ୍ଷର କେତେ ସଠିକ୍?
ଷ୍ଟାଣ୍ଡାର୍ଡ ଇଂରାଜୀ ଗଦ୍ୟ ପାଇଁ (10-15% ମଧ୍ୟରେ) 4-ଅକ୍ଷରର ଆନୁମାନିକତା ଯଥାର୍ଥ ଅଟେ | ତଥାପି, ଏହା କୋଡ୍ (ଯାହା ବାକ୍ୟବିନ୍ୟାସ ସଙ୍କେତ ହେତୁ ଟୋକେନ୍ ପ୍ରତି 2-3 ଅକ୍ଷର ବ୍ୟବହାର କରିପାରିବ), ଅଣ-ଲାଟିନ୍ ସ୍କ୍ରିପ୍ଟ (ଚାଇନିଜ୍ / ଜାପାନିଜ୍ ଟୋକେନ୍ରେ 1-2 ଅକ୍ଷର ବ୍ୟବହାର କରିପାରନ୍ତି) ଏବଂ ବିଶେଷଜ୍ଞ ଶବ୍ଦ ପାଇଁ ଏହା କମ୍ ସଠିକ୍ ହୋଇଯାଏ | ସଠିକ୍ ଗଣନା ପାଇଁ, OpenAI ର ଟିକଟୋକେନ୍ ଲାଇବ୍ରେରୀ କିମ୍ବା ପ୍ରକୃତ ଟୋକେନାଇଜର ବ୍ୟବହାର କରନ୍ତୁ |
ପ୍ରସଙ୍ଗ ୱିଣ୍ଡୋ କ’ଣ ଏବଂ ଏହା କାହିଁକି ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ?
ପ୍ରସଙ୍ଗ ୱିଣ୍ଡୋ ହେଉଛି ସର୍ବାଧିକ ସଂଖ୍ୟକ ଟୋକେନ୍ (ଇନପୁଟ୍ + ଆଉଟପୁଟ୍ ମିଳିତ) ଏକ ମଡେଲ୍ ଗୋଟିଏ ଅନୁରୋଧରେ ପ୍ରକ୍ରିୟାକରଣ କରିପାରିବ | GPT-4o ରେ 128K ଟୋକେନ୍ ୱିଣ୍ଡୋ ଅଛି (~ 96,000 ଶବ୍ଦ) | ଯଦି ଆପଣଙ୍କର ଇନପୁଟ୍ ପ୍ରସଙ୍ଗ ୱିଣ୍ଡୋ ଅତିକ୍ରମ କରେ, ତେବେ ଆପଣଙ୍କୁ ପୁନ tr ଉଦ୍ଧାର-ବର୍ଦ୍ଧିତ ପି generation ଼ି (RAG) କୁ କାଟିବା, ସଂକ୍ଷିପ୍ତ କରିବା କିମ୍ବା ବ୍ୟବହାର କରିବା ଜରୁରୀ | ସୀମା ଅତିକ୍ରମ କରିବା ଏକ API ତ୍ରୁଟି ଫେରସ୍ତ କରେ |
ସିଷ୍ଟମ୍ ପ୍ରମ୍ପ୍ଟ ଏବଂ ବାର୍ତ୍ତାଳାପ ଇତିହାସ ଟୋକେନ୍ ବ୍ୟବହାରକୁ ଗଣନା କରେ କି?
ହଁ ପ୍ରତ୍ୟେକ API କଲ୍ ପୂର୍ଣ୍ଣ ସିଷ୍ଟମ୍ ପ୍ରମ୍ପ୍ଟ, ସମସ୍ତ ବାର୍ତ୍ତାଳାପ ଇତିହାସ ଏବଂ ଇନପୁଟ୍ ଟୋକେନ୍ ଭାବରେ ନୂତନ ଉପଭୋକ୍ତା ବାର୍ତ୍ତା ଅନ୍ତର୍ଭୂକ୍ତ କରେ | ଏକ ଚାଟ୍ବଟ୍ ରେ, ବାର୍ତ୍ତାଳାପ ଇତିହାସ ପ୍ରତ୍ୟେକ ମୋଡ଼ ସହିତ ବ ows େ, ତେଣୁ ବାର୍ତ୍ତାଳାପ ଅଧିକ ହେବା ସହିତ ଖର୍ଚ୍ଚ ବ increase େ | ମଲ୍ଟି ଟର୍ନ ପ୍ରୟୋଗଗୁଡ଼ିକରେ ଖର୍ଚ୍ଚ ନିୟନ୍ତ୍ରଣ କରିବା ପାଇଁ ବାର୍ତ୍ତାଳାପ କାଟିବା କିମ୍ବା ସଂକ୍ଷିପ୍ତ କ strateg ଶଳ ପ୍ରୟୋଗ କରନ୍ତୁ |
GPT-4o ମୂଲ୍ୟ କ୍ଲାଉଡ୍ ଏବଂ ଅନ୍ୟାନ୍ୟ ମଡେଲ୍ ସହିତ କିପରି ତୁଳନା କରାଯାଏ?
2025 ସୁଦ୍ଧା: GPT-4o ହେଉଛି 1 ମି ଟୋକେନ୍ (ଇନପୁଟ୍ / ଆଉଟପୁଟ୍) ପାଇଁ $ 2.50 / $ 10.00 | ଆନ୍ଥ୍ରୋପିକ୍ କ୍ଲୋଡ୍ 3.5 ସୋନେଟ୍ ହେଉଛି 1 ମି ପ୍ରତି $ 3.00 / $ 15.00 | ଗୁଗୁଲ୍ ମିଥୁନ 1.5 ପ୍ରୋ ହେଉଛି 1M ପ୍ରତି $ 1.25 / $ 5.00 | $ 0.15 / $ 0.60 ରେ GPT-4o ମିନି ହେଉଛି ସବୁଠାରୁ ଶସ୍ତା ସୀମା ମଡେଲ୍ ବିକଳ୍ପ | ପ୍ରଦାନକାରୀମାନେ ମୂଲ୍ୟ-କାର୍ଯ୍ୟଦକ୍ଷତା ଉପରେ ପ୍ରତିଦ୍ୱନ୍ଦ୍ୱିତା କରୁଥିବାରୁ ମୂଲ୍ୟ ବାରମ୍ବାର ବଦଳିଥାଏ |
ଏଡ଼ାଇବା ଯୋଗ୍ୟ ସାଧାରଣ ଭୁଲ
▾
- !1 ଟୋକେନ୍ = 1 ଶବ୍ଦ ଅନୁମାନ କରିବା - ଇଂରାଜୀରେ, 1 ଟୋକେନ୍ ପ୍ରାୟ 0.75 ଶବ୍ଦ (କିମ୍ବା 1 ଶବ୍ଦ = ~ 1.33 ଟୋକେନ୍) ଅଟେ, ଏବଂ ଏହି ଅନୁପାତ ଅନ୍ୟ ଭାଷା ପାଇଁ ଯଥେଷ୍ଟ ଭିନ୍ନ ହୋଇଥାଏ |
- !ସେହି ବାର୍ତ୍ତାଳାପ ଇତିହାସକୁ ଭୁଲିଯିବା ପ୍ରତ୍ୟେକ ଟର୍ନରେ ଟୋକେନ୍ ସଂଗ୍ରହ କରେ - ଏକ 20 ଟର୍ନ ଚାଟ୍ବଟ୍ ବାର୍ତ୍ତାଳାପ ପ୍ରତ୍ୟେକ ଅନୁରୋଧ ପାଇଁ 10,000+ ଇନପୁଟ୍ ଟୋକେନ୍ ପଠାଇପାରେ |
- !ସିଷ୍ଟମ୍ ପ୍ରମ୍ପ୍ଟ ଟୋକେନ୍ ମୂଲ୍ୟ ପାଇଁ ହିସାବ କରୁନାହିଁ, ଯାହା ପ୍ରତ୍ୟେକ API କଲ୍ ରେ ଅନ୍ତର୍ଭୂକ୍ତ ହୋଇଛି ଏବଂ ବିସ୍ତୃତ ନିର୍ଦ୍ଦେଶ ପାଇଁ 500-2,000 ଟୋକେନ୍ ହୋଇପାରେ |
- !ଆଉଟପୁଟ୍ ଗୁଣବତ୍ତା ପାର୍ଥକ୍ୟକୁ ବିଚାର ନକରି ମଡେଲ୍ ମୂଲ୍ୟ ତୁଳନା କରିବା - GPT-4o ମିନି GPT-4o ଅପେକ୍ଷା 17x ଶସ୍ତା କିନ୍ତୁ କମ୍ ଯୁକ୍ତିଯୁକ୍ତ କ୍ଷମତା ହେତୁ ସମାନ ଫଳାଫଳ ହାସଲ କରିବାକୁ ଅଧିକ ଟୋକେନ୍ ଆବଶ୍ୟକ କରିପାରନ୍ତି |
- !ଇନପୁଟ୍ ବନାମ ଆଉଟପୁଟ୍ ଟୋକେନ୍ ପାଇଁ ପୃଥକ ମୂଲ୍ୟକୁ ଅଣଦେଖା କରିବା - ଆଉଟପୁଟ୍ ଟୋକେନ୍ 2-4x ଅଧିକ ମହଙ୍ଗା, ତେଣୁ ଲମ୍ବା ପ୍ରତିକ୍ରିୟା ସୃଷ୍ଟି କରୁଥିବା ପ୍ରୟୋଗଗୁଡ଼ିକ ଆନୁପାତିକ ଭାବରେ ଅଧିକ ଖର୍ଚ୍ଚ ହୁଏ |
ବିଶେଷ ଟିପ
ଗୁଣବତ୍ତା ନଷ୍ଟ ନକରି API ଖର୍ଚ୍ଚ ହ୍ରାସ କରିବାକୁ: (1) ଶ୍ରେଣୀକରଣ ଏବଂ ନିଷ୍କାସନ ଭଳି ସରଳ କାର୍ଯ୍ୟ ପାଇଁ GPT-4o ମିନି ବ୍ୟବହାର କରନ୍ତୁ, ଜଟିଳ ଯୁକ୍ତି ପାଇଁ GPT-4o ସଂରକ୍ଷଣ କରନ୍ତୁ | (2) ବାରମ୍ବାର ସିଷ୍ଟମ୍ ପ୍ରମ୍ପ୍ଟରୁ 50% ପାଇବାକୁ ପ୍ରମ୍ପ୍ଟ କ୍ୟାଚିଂ କାର୍ଯ୍ୟକାରୀ କରନ୍ତୁ | ()) ଅପ୍ରତ୍ୟାଶିତ ଲମ୍ବା ଫଳାଫଳକୁ ରୋକିବା ପାଇଁ max_tokens ସେଟ୍ କରନ୍ତୁ | (4) ପୂର୍ଣ୍ଣ ଟ୍ରାନ୍ସକ୍ରିପ୍ଟ ପଠାଇବା ପରିବର୍ତ୍ତେ ବାର୍ତ୍ତାଳାପ ଇତିହାସକୁ ସଂକ୍ଷିପ୍ତ କର | ଏକ ଭଲ-ଅପ୍ଟିମାଇଜଡ୍ ପ୍ରୟୋଗ ଅଜ୍ଞାତ API ବ୍ୟବହାର ତୁଳନାରେ 60-80% ଖର୍ଚ୍ଚ ହ୍ରାସ କରିପାରିବ |
ଆପଣ ଜାଣନ୍ତି କି?
AI ରେ 'ଟୋକେନାଇଜେସନ୍' ଶବ୍ଦର ଏକ କ urious ତୁହଳପୂର୍ଣ୍ଣ ଦ୍ୱ ual ତ ଜୀବନ ଅଛି - ପ୍ରାକୃତିକ ଭାଷା ପ୍ରକ୍ରିୟାକରଣରେ ଏହାର ଅର୍ଥ ହେଉଛି ପାଠ୍ୟକୁ ସବୱାର୍ଡ ୟୁନିଟରେ ବିଭକ୍ତ କରିବାବେଳେ ସାଇବର ନିରାପତ୍ତାରେ ଏହାର ଅର୍ଥ ହେଉଛି ସମ୍ବେଦନଶୀଳ ତଥ୍ୟକୁ ଅଣ-ସମ୍ବେଦନଶୀଳ ସ୍ଥାନଧାରୀଙ୍କ ସହିତ ବଦଳାଇବା | ଉଭୟ ଅର୍ଥ ସୂଚନାକୁ ଛୋଟ ୟୁନିଟରେ ରୂପାନ୍ତର କରିବା ସହିତ ଜଡିତ, କିନ୍ତୁ ସଂପୂର୍ଣ୍ଣ ଭିନ୍ନ ଉଦ୍ଦେଶ୍ୟ ପାଇଁ | OpenAI ର cl100k_base ଟୋକେନାଇଜରରେ 100,256 ଅନନ୍ୟ ଟୋକେନ୍ ର ଶବ୍ଦକୋଷ ଅଛି |
Regional Guides
▾
United States▾
European Union▾
Asia-Pacific▾
ସନ୍ଦର୍ଭ
ସାପ୍ତାହିକ ଗଣିତ ଟିପ୍ସ ପାଆନ୍ତୁ |
12,000 + ଗ୍ରାହକମାନଙ୍କ ସହିତ ଯୋଗ ଦିଅନ୍ତୁ ଯେଉଁମାନେ ପ୍ରତି ସପ୍ତାହରେ କାଲକୁଲେଟର ଟିପ୍ସ ପାଆନ୍ତି |