کیا ہے LLM Latency Cost Calculator?
▾
LLM لیٹنسی لاگت کیلکولیٹر ڈیولپرز کو AI ایپلی کیشنز میں ٹائم ٹو فرسٹ ٹوکن (TTFT)، ٹوکن فی سیکنڈ تھرو پٹ، اور مختلف ماڈلز اور کنفیگریشنز میں کل رسپانس ٹائم کی ماڈلنگ کے ذریعے جوابی وقت کے چھپے ہوئے اخراجات کو درست کرنے میں مدد کرتا ہے۔ جب کہ زیادہ تر لاگت کی بحثیں ٹوکن کی قیمتوں پر مرکوز ہوتی ہیں، تاخیر کا اپنا معاشی اثر ہوتا ہے: سست ردعمل صارف کے ترک کرنے میں اضافہ کرتا ہے، تھرو پٹ کی صلاحیت کو کم کرتا ہے، اور AI سے چلنے والی خصوصیات کے سمجھے جانے والے معیار کو کم کرتا ہے۔ ماڈلز اور فراہم کنندگان میں تاخیر ڈرامائی طور پر مختلف ہوتی ہے۔ GPT-4o عام طور پر 200 سے 500 ملی سیکنڈ میں ٹائم ٹو فرسٹ ٹوکن فراہم کرتا ہے اور 80 سے 120 ٹوکن فی سیکنڈ جنریٹ کرتا ہے۔ GPT-4o-mini 100 سے 300ms TTFT اور 100 سے 150 ٹوکن فی سیکنڈ پر تیز ہے۔ Claude Sonnet 4 70 سے 100 ٹوکن فی سیکنڈ کے ساتھ 300 سے 700ms TTFT تک ہے۔ ان اختلافات کا مطلب ہے کہ 500 ٹوکن والے جواب میں ماڈل کے انتخاب کے لحاظ سے 3 سے 7 سیکنڈ لگتے ہیں، جو براہ راست صارف کے تجربے اور ایپلیکیشن ڈیزائن کو متاثر کرتا ہے۔ یہ کیلکولیٹر تاخیر کی کل لاگت کا نمونہ بناتا ہے جس میں براہ راست API لاگت، کنکشن کھولنے کے بنیادی ڈھانچے کی لاگت، رسپانس ٹائم کے ساتھ منسلک صارف کے ڈراپ آف کی شرح، اور اسی درخواست والیوم کو پورا کرنے کے لیے مزید ہم آہنگی کنکشن کی ضرورت والے سست ماڈلز کے تھرو پٹ مضمرات شامل ہیں۔ ریئل ٹائم ایپلی کیشنز جیسے چیٹ بوٹس اور تلاش کے لیے، لیٹنسی آپٹیمائزیشن اتنا ہی اثر انگیز ہو سکتا ہے جتنا کہ مجموعی نظام معاشیات کے لیے ٹوکن لاگت کی اصلاح۔
DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.
فارمولا
▾
کل رسپانس ٹائم = پہلے ٹوکن کا وقت + (آؤٹ پٹ ٹوکنز / ٹوکن فی سیکنڈ)۔ مؤثر لاگت فی درخواست = API ٹوکن لاگت + (رسپانس ٹائم / 3600) x سرور کنکشن لاگت فی گھنٹہ + ڈراپ آف امکان x کھوئے ہوئے محصول فی صارف۔ مثال کے طور پر: 400ms TTFT + 300 ٹوکن 100 tok/s = 400ms + 3,000ms = 3.4 سیکنڈ کل رسپانس ٹائم۔متغیر کی تشریح
▾
| علامت | نام | اکائی | تفصیل |
|---|---|---|---|
| TTFT | پہلے ٹوکن کا وقت | milliseconds | API کی درخواست بھیجنے اور جواب کا پہلا ٹوکن وصول کرنے کے درمیان تاخیر، جو کم از کم سمجھی جانے والی تاخیر کی نمائندگی کرتا ہے۔ |
| TPS | ٹوکن فی سیکنڈ | tokens per second | پہلے ٹوکن کے بعد جنریشن کی رفتار، اس بات کا تعین کرتی ہے کہ مکمل ردعمل کتنی جلدی پیدا ہوتا ہے، عام طور پر معیاری ماڈلز کے لیے 80 سے 150۔ |
| T_out | آؤٹ پٹ ٹوکن کاؤنٹ | tokens | ماڈل کے جواب میں ٹوکنز کی تعداد، جو کہ جنریشن کی رفتار سے بڑھ کر TTFT کے بعد سٹریمنگ کی مدت کا تعین کرتی ہے۔ |
| D | ڈراپ آف ریٹ | ratio per second of latency | ان صارفین کا تخمینہ شدہ حصہ جو ردعمل کے وقت کے فی اضافی سیکنڈ میں تعامل کو ترک کر دیتے ہیں، عام طور پر 3 سیکنڈ کی حد سے اوپر 5 سے 15 فیصد فی سیکنڈ۔ |
| V_user | قیمت فی گم شدہ صارف | USD | جب صارف ضرورت سے زیادہ تاخیر کی وجہ سے AI تعامل کو ترک کر دیتا ہے تو تخمینی آمدنی یا کسٹمر ویلیو ضائع ہو جاتی ہے۔ |
کیسے LLM Latency Cost Calculator
▾
- 1اپنے منتخب کردہ ماڈل اور کنفیگریشن کے لیے ٹائم ٹو فرسٹ ٹوکن (TTFT) کی پیمائش یا تخمینہ لگائیں۔ TTFT API کی درخواست بھیجنے اور جواب کا پہلا ٹوکن وصول کرنے کے درمیان تاخیر ہے۔ یہ ماڈل کی پیچیدگی، ان پٹ پرامپٹ کی لمبائی، سرور لوڈ، اور API کے اختتامی نقطہ تک جغرافیائی فاصلے پر منحصر ہے۔ GPT-4o TTFT کی رینج 200 سے 500ms تک ہوتی ہے، جبکہ O1 جیسے ریجننگ ماڈل ابتدائی سوچ کے مرحلے کے لیے 2 سے 10 سیکنڈ کا وقت لے سکتے ہیں۔
- 2اپنے ماڈل کے لیے ٹوکن فی سیکنڈ جنریشن کی شرح کا تعین کریں۔ یہ وہ رفتار ہے جس پر ماڈل پہلا ٹوکن آنے کے بعد آؤٹ پٹ ٹوکن تیار کرتا ہے۔ معیاری ماڈل 80 سے 150 ٹوکن فی سیکنڈ پیدا کرتے ہیں۔ لمبا آؤٹ پٹ متناسب طور پر زیادہ وقت لیتا ہے: 500 ٹوکن جواب 100 ٹوکن فی سیکنڈ پر TTFT کے بعد 5 سیکنڈ لگتے ہیں۔ صارفین کے جواب کو سٹریم کرنا ان کے آتے ہی ٹوکن دکھا کر سمجھی جانے والی تاخیر کو کم کرتا ہے۔
- 3اپنی عام پیداوار کی لمبائی کے لیے کل جوابی وقت کا حساب لگائیں۔ GPT-4o پر 200 ٹوکن جوابات کے ساتھ چیٹ بوٹ کے لیے: TTFT (350ms) + جنریشن (200 ٹوکن / 100 tok/s = 2,000ms) = 2.35 سیکنڈ کل۔ 1,000-ٹوکن آؤٹ پٹ کے ساتھ مواد کی تخلیق کی خصوصیت کے لیے: TTFT (350ms) + جنریشن (10,000ms) = 10.35 سیکنڈ۔ یہ اوقات اس بات کا تعین کرتے ہیں کہ آیا یہ خصوصیت صارفین کو جوابدہ یا سست محسوس کرتی ہے۔
- 4تاخیر کے صارف کے تجربے کے اثرات کو ماڈل کریں۔ تحقیق سے پتہ چلتا ہے کہ صارف کا اطمینان 3-سیکنڈ کے جوابی اوقات میں نمایاں طور پر گر جاتا ہے۔ چیٹ بوٹس کے لیے، 5 سیکنڈ سے زیادہ کے جوابات 20 سے 30 فیصد صارفین کو گفتگو کو ترک کرنے کا سبب بنتے ہیں۔ تلاش کی خصوصیات کے لیے، 2 سیکنڈ سے زیادہ وقت لینے والے نتائج 10 سے 15 فیصد کم مصروفیت دیکھیں۔ کیلکولیٹر آپ کی تبادلوں کی شرحوں اور صارف کی زندگی بھر کی قیمت کی بنیاد پر اس گمشدہ مصروفیت کو ڈالر کی قیمت تفویض کرتا ہے۔
- 5تھرو پٹ صلاحیت اور اس کے لاگت کے اثرات کا حساب لگائیں۔ سٹریمنگ کے جوابات کو ہینڈل کرنے والے سرور کے لیے ضروری ہے کہ وہ مکمل رسپانس کی مدت کے لیے کنکشن کھلے رکھیں۔ اگر ہر جواب میں 5 سیکنڈ لگتے ہیں، تو ایک سرور تھریڈ 12 درخواستیں فی منٹ ہینڈل کرتا ہے۔ 2 سیکنڈ میں جواب دینے والے تیز ماڈل پر سوئچ کرنے سے 30 درخواستیں فی منٹ تک بڑھ جاتی ہیں، اسی ٹریفک کے لیے 60 فیصد کم سرور وسائل کی ضرورت ہوتی ہے۔ انفراسٹرکچر کی یہ بچت ماڈلز کے درمیان API لاگت کے فرق سے تجاوز کر سکتی ہے۔
- 6ٹوکن کی قیمتوں اور تاخیر کے اخراجات دونوں سمیت ماڈل کے اختیارات میں کل لاگت کا موازنہ کریں۔ ایک سستا فی ٹوکن ماڈل جو کہ سست ہے درحقیقت انفراسٹرکچر، یوزر ڈراپ آف، اور تھرو پٹ رکاوٹوں کو مدنظر رکھتے ہوئے زیادہ لاگت آسکتا ہے۔ کیلکولیٹر کل معاشی موازنہ تیار کرتا ہے جس میں API لاگت، سرور کی لاگت، اور تاخیر سے متوقع آمدنی کے اثرات شامل ہیں۔
- 7ترتیب میں تبدیلیوں کے ذریعے تاخیر کو بہتر بنائیں۔ max_tokens کے ساتھ آؤٹ پٹ ٹوکن کی حدوں کو کم کرنا، سمجھے جانے والے ردعمل کو بہتر بنانے کے لیے سٹریمنگ کا استعمال، TTFT کو کم کرنے کے لیے فوری کیشنگ کو نافذ کرنا، اور جغرافیائی طور پر قریبی API کے اختتامی پوائنٹس کا انتخاب کرنے سے ہر ایک ماڈل کو تبدیل کیے بغیر 20 سے 50 فیصد تک تاخیر کو کم کر سکتا ہے۔ کیلکولیٹر ہر اصلاح کے لاگت کے اثرات کو ماڈل کرتا ہے۔
حل شدہ مثالیں
▾
3-سیکنڈ کے جوابات کے تحت ہدف بنانے والے چیٹ بوٹ کے لیے، GPT-4o اور GPT-4o-mini دونوں حد کو پورا کرتے ہیں جبکہ Claude Sonnet 4 بارڈر لائن ہے۔ GPT-4o-mini GPT-4o سے 28 فیصد تیز اور 94 فیصد سستا ہے، جو اسے زیادہ تر چیٹ بوٹ ایپلی کیشنز کے لیے بہترین انتخاب بناتا ہے۔
ہر 1,000 ٹوکن جنریشن میں 10.4 سیکنڈ لگتے ہیں۔ 50 ایک ساتھ صارفین کی خدمت کے لیے، آپ کو تقریباً 9 سرور تھریڈز کی ضرورت ہے جن کے کنکشن کھلے ہوں۔ سرور انفراسٹرکچر کے لیے فی گھنٹہ $5 پر، تھرو پٹ لاگت API ٹوکن لاگت کے اوپر فی درخواست $0.0024 کا اضافہ کرتی ہے۔
بازیافت کے لیے 200ms اور 150ms TTFT کے بعد، 1,450ms ٹوکن جنریشن کے لیے باقی ہیں۔ 130 ٹوکن فی سیکنڈ پر، زیادہ سے زیادہ آؤٹ پٹ 188 ٹوکن ہے۔ اگر فیچر کو طویل جوابات کی ضرورت ہے، تو یا تو لیٹنسی بجٹ میں اضافہ ہونا چاہیے یا تیز ماڈل یا بازیافت کا وقت کم کرنا چاہیے۔
عملی استعمال
▾
AI سے چلنے والے جوابات کی تیاری والے سرچ انجنوں کو 2 سے 3 سیکنڈ کے اندر نتائج فراہم کرنے چاہئیں تاکہ روایتی تلاش کے ذریعے صارف کی توقعات کو پورا کیا جا سکے۔ جوابی ترکیب کے لیے GPT-4o استعمال کرنے والا سرچ پلیٹ فارم بازیافت کے لیے 500ms اور LLM جنریشن کے لیے 2,000ms کا بجٹ رکھتا ہے۔ 100 ٹوکن فی سیکنڈ پر، وہ لیٹنسی بجٹ کے اندر تقریباً 170 ٹوکن (تقریباً 130 الفاظ) پیدا کر سکتے ہیں۔ یہ رکاوٹ جواب کی زیادہ سے زیادہ لمبائی کا تعین کرتی ہے اور تیز ترین دستیاب ماڈل کے انتخاب کو آگے بڑھاتی ہے۔
ریئل ٹائم ٹرانسلیشن سروسز کو بات چیت کے بہاؤ کے لیے تاخیر کو کم کرنا چاہیے۔ GPT-4o-mini کا استعمال کرتے ہوئے ایک لائیو ترجمہ فیچر 150ms TTFT اور 130 ٹوکن فی سیکنڈ حاصل کرتا ہے، کل 0.77 سیکنڈ میں 50 الفاظ کے جملے (تقریباً 80 ٹوکن آؤٹ پٹ) کا ترجمہ کرتا ہے۔ یہ سب سیکنڈ لیٹینسی قدرتی بات چیت کی رفتار کو قابل بناتی ہے۔ اس کے بجائے GPT-4o کا استعمال 200ms TTFT کا اضافہ کرے گا اور تھرو پٹ کو کم کرے گا، جس سے قابل توجہ وقفے پیدا ہوں گے جو گفتگو کے بہاؤ کو توڑ دیتے ہیں۔
تجارتی اور مالیاتی تجزیہ کے پلیٹ فارمز LLMs کا استعمال حقیقی وقت میں مارکیٹ کمنٹری اور الرٹ جنریشن کے لیے کرتے ہیں۔ تاخیر براہ راست مارکیٹ میں منتقل ہونے والی معلومات کی قدر کو متاثر کرتی ہے۔ 100 ٹوکن مارکیٹ الرٹس کے لیے GPT-4o-mini کا استعمال کرنے والا ایک مالیاتی پلیٹ فارم 1 سیکنڈ سے کم وقت میں ڈیلیوری حاصل کرتا ہے، جو وقت کی حساس مالی معلومات کی ضرورت کو پورا کرتا ہے۔ پلیٹ فارم طویل تجزیاتی ٹکڑوں کو اس پس منظر میں GPT-4o تک لے جاتا ہے جہاں تاخیر کم اہم ہوتی ہے۔
صوتی معاونین اور آواز سے چلنے والی AI ایپلیکیشنز میں سخت تاخیر کا بجٹ ہوتا ہے کیونکہ صارفین فوری زبانی ردعمل کی توقع کرتے ہیں۔ اسپیچ ٹو ٹیکسٹ (300 سے 500 ایم ایس) سے ایل ایل ایم جنریشن سے ٹیکسٹ ٹو اسپیچ (200 سے 400 ایم ایس) تک کی کل پائپ لائن 2 سے 3 سیکنڈ میں مکمل ہونی چاہیے۔ اس سے LLM جنریشن کے لیے صرف 1 سے 2 سیکنڈ رہ جاتے ہیں، ماڈل کے انتخاب اور ردعمل کی لمبائی میں رکاوٹ۔ بہت سی صوتی ایپلی کیشنز GPT-4o-mini یا Claude Haiku کو خاص طور پر اپنی تیز رفتار TTFT کے لیے استعمال کرتی ہیں۔
خاص صورتیں
▾
استدلال کے ماڈلز جیسے o1 اور o3 کے لیے، TTFT میں ایک توسیعی سوچ شامل ہے۔
استدلال کے ماڈلز جیسے o1 اور o3 کے لیے، TTFT میں سوچ کا ایک توسیعی مرحلہ شامل ہے جو مسئلہ کی پیچیدگی کے لحاظ سے 2 سے 30 سیکنڈ تک جاری رہ سکتا ہے۔ یہ سوچنے کا وقت آؤٹ پٹ ٹوکن ریٹ پر چارج کیا جاتا ہے لیکن سلسلہ وار جواب میں نظر نہیں آتا۔ ایک درخواست جو 200 مرئی آؤٹ پٹ ٹوکن تیار کرتی ہے اس میں 2,000 سے 5,000 سوچ ٹوکن استعمال ہو سکتے ہیں، جس سے تاخیر کا جرمانہ اور پوشیدہ لاگت کا ضرب پیدا ہوتا ہے۔ استدلال کے ماڈل کو صرف ان کاموں کے لیے استعمال کیا جانا چاہیے جہاں سوچنے کا وقت قابل قدر بہتر نتائج پیدا کرتا ہے۔
عالمی CDN یا API گیٹ وے کے پیچھے LLMs کو تعینات کرتے وقت، شامل کردہ نیٹ ورک ختم ہو جاتا ہے۔
عالمی CDN یا API گیٹ وے کے پیچھے LLMs کو تعینات کرتے وقت، شامل کردہ نیٹ ورک ہاپس فی درخواست 10 سے 50ms اضافی لیٹنسی متعارف کراتے ہیں۔ انفرادی طور پر چھوٹے ہونے کے باوجود، یہ اوور ہیڈ ایجنٹ ایپلی کیشنز میں شامل ہوتا ہے جو 5 سے 15 ترتیب وار ایل ایل ایم کالز کرتے ہیں۔ 10 ترتیب وار کالوں کے ساتھ ایک ایجنٹ پائپ لائن اکیلے گیٹ وے اوور ہیڈ کے 100 سے 500ms جمع کرتی ہے۔ تاخیر سے متعلق حساس ایجنٹ ایپلی کیشنز کے لیے، آرکیسٹریٹر اور LLM API اینڈ پوائنٹ کے درمیان نیٹ ورک ہاپس کو کم سے کم کریں۔
فنکشن کالنگ اور ٹول کے استعمال میں تاخیر کا اضافہ ہوتا ہے کیونکہ ماڈل لازمی طور پر پیدا ہوتا ہے۔
فنکشن کالنگ اور ٹول کے استعمال میں تاخیر ہوتی ہے کیونکہ ماڈل کو لازمی JSON آؤٹ پٹ (جو کہ قدرتی زبان سے سست ہے) پیدا کرنا چاہیے اور پھر جاری رکھنے سے پہلے ٹول کے نتیجے کا انتظار کرنا چاہیے۔ ہر ٹول کال راؤنڈ ٹرپ مکمل TTFT پلس ٹول پر عمل درآمد کا وقت شامل کرتا ہے۔ 3 ٹول کال کرنے والا ایجنٹ تقریباً 1 سے 3 سیکنڈ ایل ایل ایم لیٹینسی کے علاوہ بیرونی ٹول ریسپانس ٹائمز کا اضافہ کرتا ہے۔ جہاں ممکن ہو سنگل ٹول کالز میں متعدد سوالات کو بیچ کر راؤنڈ ٹرپس کو کم سے کم کرنے کے لیے ٹول انٹرفیس ڈیزائن کریں۔
LLM لیٹینسی بینچ مارکس (2025 میڈین ویلیوز)
▾
| ماڈل | TTFT (میڈین) | ٹوکن/سیکنڈ | 200 ٹوکن جواب | 500 ٹوکن جواب |
|---|---|---|---|---|
| GPT-4o | 350ms | 100 tok/s | 2.35 سیکنڈ | 5.35 سیکنڈ |
| GPT-4o-mini | 150ms | 130 ٹوک فی سیکنڈ | 1.69 سیکنڈ | 4.00s |
| کلاڈ سونیٹ 4 | 500ms | 80 ٹوک فی سیکنڈ | 3.00s | 6.75 سیکنڈ |
| کلاڈ ہائیکو | 200ms | 120 ٹوک فی سیکنڈ | 1.87 سیکنڈ | 4.37 سیکنڈ |
| جیمنی 1.5 فلیش | 200ms | 140 ٹوک فی سیکنڈ | 1.63 سیکنڈ | 3.77 سیکنڈ |
| o1 (استدلال) | 3,000ms | 50 ٹوک فی سیکنڈ | 7.00s | 13.00s |
| Llama 3 70B (H100) | 100ms | 90 ٹوک فی سیکنڈ | 2.32 سیکنڈ | 5.66 سیکنڈ |
اکثر پوچھے جانے والے سوالات
▾
کس LLM میں سب سے کم تاخیر ہے؟
بڑے تجارتی ماڈلز میں، GPT-4o-mini مسلسل 100 سے 200ms TTFT اور 120 سے 150 ٹوکن فی سیکنڈ کے ساتھ سب سے کم لیٹنسی فراہم کرتا ہے۔ کلاڈ ہائیکو بھی اسی طرح تیز ہے۔ فلیگ شپ ماڈلز میں، GPT-4o کلاڈ سونیٹ 4 سے قدرے تیز ہے۔ o1 جیسے ریزننگ ماڈلز اندرونی سوچ کی وجہ سے 2 سے 10 سیکنڈ کے TTFT کے ساتھ نمایاں طور پر سست ہیں۔ H100 GPUs پر خود میزبان ماڈل ذیلی 100ms TTFT حاصل کر سکتے ہیں لیکن بنیادی ڈھانچے میں اہم سرمایہ کاری کی ضرورت ہوتی ہے۔
فوری طوالت تاخیر کو کیسے متاثر کرتی ہے؟
طویل ان پٹ پرامپٹس TTFT کو بڑھاتے ہیں کیونکہ ماڈل کو پہلا آؤٹ پٹ ٹوکن بنانے سے پہلے تمام ان پٹ ٹوکن پر کارروائی کرنی چاہیے۔ 1,000 ان پٹ ٹوکنز پر کارروائی کرنے سے عام طور پر کم سے کم پرامپٹ کے مقابلے میں 100 سے 300ms کا اضافہ ہوتا ہے۔ 10,000 ان پٹ ٹوکن پر کارروائی کرنے سے 500 سے 1,500ms کا اضافہ ہو سکتا ہے۔ یہی وجہ ہے کہ بڑے بازیافت شدہ سیاق و سباق کے ساتھ RAG ایپلی کیشنز میں سادہ چیٹ بوٹ تعاملات سے زیادہ تاخیر ہوتی ہے۔ پرامپٹ کیشنگ (انتھروپک سے دستیاب) بار بار پرامپٹ سابقے کے لیے اس پروسیسنگ وقت کو ختم کر دیتی ہے۔
کیا مجھے تمام API کالز کے لیے اسٹریمنگ کا استعمال کرنا چاہیے؟
سٹریمنگ کو کسی بھی صارف کا سامنا کرنے والے ردعمل کے لیے استعمال کیا جانا چاہیے جس کو پیدا کرنے میں 1 سیکنڈ سے زیادہ وقت لگتا ہے۔ پروگرامیٹک API کالوں کے لیے جہاں آؤٹ پٹ کو صارفین کو دکھانے کے بجائے کوڈ کے ذریعے پروسیس کیا جاتا ہے، نان اسٹریمنگ آسان ہے اور اس میں تاخیر کا فائدہ نہ ہونے کے برابر ہے۔ سٹریمنگ زیادہ تر SDKs کے ساتھ کم سے کم کوڈ کی پیچیدگی کا اضافہ کرتی ہے اور بغیر کسی اضافی قیمت کے تمام بڑے فراہم کنندگان کی طرف سے تعاون کیا جاتا ہے۔ سٹریمنگ سے سمجھی جانے والی تاخیر میں بہتری کافی ہے: 10 سیکنڈ کا جواب سٹریم ہونے پر 1 سیکنڈ کی طرح محسوس ہوتا ہے۔
میں اپنی درخواست کے لیے TTFT کو کیسے کم کروں؟
کلیدی TTFT آپٹیمائزیشنز میں شامل ہیں: بار بار پرامپٹ پریفکسز کی پروسیسنگ کو چھوڑنے کے لیے پرامپٹ کیشنگ کا استعمال کرتے ہوئے (200 سے 500ms کی بچت کرتا ہے)، جغرافیائی طور پر قریب ترین API اینڈ پوائنٹس کا انتخاب کرنا (نیٹ ورک کے راؤنڈ ٹرپ کے 50 سے 200ms بچاتا ہے)، ان پٹ پرامپٹ کی لمبائی کو کم کرنا (جیسے کہ 510 سے تیز رفتار ماڈل کا استعمال کرتے ہوئے) GPT-4o-mini (100 سے 300ms بچاتا ہے بمقابلہ GPT-4o)۔ سیلف ہوسٹڈ ماڈلز کے لیے، VLLM جیسے آپٹمائزڈ سرونگ فریم ورک کے ساتھ GPU- ایکسلریٹڈ انفرنس ذیلی 100ms TTFT حاصل کر سکتا ہے۔
درخواست کی مختلف اقسام کے لیے قابل قبول تاخیر کیا ہے؟
تلاش اور خودکار تکمیل: 500ms سے کم۔ چیٹ بوٹ کے جوابات: 3 سیکنڈ سے کم (سٹریمنگ کے ساتھ)۔ مواد کی تخلیق: 10 سیکنڈ سے کم (سٹریمنگ پروگریس انڈیکیٹر کے ساتھ)۔ بیچ پروسیسنگ: منٹ سے گھنٹے (کوئی تاخیر کی ضرورت نہیں)۔ صوتی معاونین: 2 سیکنڈ سے کم کل پائپ لائن۔ کوڈ کی تکمیل: ان لائن تجاویز کے لیے 500ms سے کم۔ یہ حدیں صارف کے تجربے کی تحقیق اور مسابقتی معیارات پر مبنی ہیں۔
عام غلطیاں جن سے بچنا ہے
▾
- !تاخیر کے اثرات کو نظر انداز کرتے ہوئے صرف ٹوکن لاگت کے لیے بہتر بنانا:
- !طویل جوابات کے لیے سٹریمنگ کا استعمال نہ کرنا:
- !TTFT تغیرات اور P99 تاخیر کو نظر انداز کرنا:
پرو ٹپ
اپنی پوری درخواست کی پائپ لائن کے لیے لیٹنسی بجٹ نافذ کریں اور اسے تمام اجزاء میں مختص کریں۔ 3 سیکنڈ کے چیٹ بوٹ بجٹ کے لیے: نیٹ ورک اور پری پروسیسنگ کے لیے 200ms، RAG بازیافت کے لیے 200ms، TTFT کے لیے 300ms، اور ٹوکن جنریشن کے لیے 2,300ms (GPT-4o-mini پر 130 tok/s پر تقریباً 300 ٹوکن کی اجازت)۔ یہ بجٹ نقطہ نظر انفرادی اجزاء کو ان کے حصہ سے زیادہ استعمال کرنے سے روکتا ہے اور جب کسی جزو کو اصلاح کی ضرورت ہوتی ہے یا تیز تر ماڈل کی ضرورت ہوتی ہے۔
کیا آپ جانتے ہیں؟
انسانی گفتگو میں موڑ لینے میں ایک شخص کے مکمل ہونے اور دوسرے کے بولنے کے درمیان تقریباً 200 ملی سیکنڈ کا فطری وقفہ ہوتا ہے۔ جب AI چیٹ بوٹ کے رسپانس ٹائمز 3 سیکنڈ سے زیادہ ہو جاتے ہیں، تو صارف لاشعوری طور پر 'گفتگو' کے ذہنی ماڈل کے بجائے 'ویب سرچ' کا ذہنی ماڈل اپنا لیتے ہیں، کم مشغول ہو جاتے ہیں اور اس کے ترک کرنے کا زیادہ امکان ہوتا ہے۔ ذیلی 2-سیکنڈ کے جوابات کو حاصل کرنا صارفین کو بات چیت کی ذہنیت میں رکھتا ہے، جس سے مشغولیت اور اطمینان دونوں کے اسکور میں 25 سے 40 فیصد اضافہ ہوتا ہے۔
Regional Guides
▾
North America▾
Europe▾
Asia-Pacific▾
حوالہ جات
ہفتہ وار ریاضی کی تجاویز حاصل کریں۔
ان 12,000+ سبسکرائبرز میں شامل ہوں جو ہر ہفتے کیلکولیٹر ٹپس حاصل کرتے ہیں۔