प्रति टोकन लागत विश्लेषण: LLM इन्फ़रेंस के लिए GPU इन्फ्रास्ट्रक्चर का अनुकूलन

8 दिसंबर, 2025 को अपडेट किया गया

दिसंबर 2025 अपडेट: इन्फ़रेंस अर्थशास्त्र में सुधार जारी है। 141GB HBM3e के साथ H200 अब व्यापक रूप से उपलब्ध है ($30-40K खरीद, $2.15-6.00/घंटा क्लाउड), जो 70B मॉडल की सिंगल-GPU सर्विंग को सक्षम बनाता है जिसके लिए पहले दो H100 की आवश्यकता होती थी। H100 क्लाउड की कीमतें घटकर $1.49-3.90/घंटा हो गईं ($7-8/घंटा से)। AWS ने जून 2025 में कीमतों में 44% की कटौती की। Blackwell GB200/GB300 आर्किटेक्चर LLMs के लिए 30x इन्फ़रेंस सुधार का वादा करता है, हालांकि आवंटन सीमित है। क्वांटाइज़ेशन प्रगति (FP4, INT4) सटीकता बनाए रखते हुए प्रति-टोकन लागत को कम करती रहती है।

ChatGPT द्वारा उत्पन्न हर शब्द की उत्पादन लागत OpenAI को $0.00012 है, एक संख्या जो तय करती है कि AI कंपनियाँ जीवित रहेंगी या असंवहनीय बिज़नेस मॉडल की कब्रगाह में गायब हो जाएंगी।¹ बड़े भाषा मॉडल तैनात करने वाले संगठन पाते हैं कि इन्फ़रेंस लागत, न कि ट्रेनिंग खर्च, उनके इन्फ्रास्ट्रक्चर बजट पर हावी है क्योंकि लाखों उपयोगकर्ता प्रतिदिन अरबों टोकन उत्पन्न करते हैं। प्रति टोकन $0.0001 और $0.001 के बीच का अंतर मासिक इन्फ्रास्ट्रक्चर लागत में लाखों का अनुवाद करता है, जो अनुकूलन को दक्षता अभ्यास के बजाय अस्तित्व की अनिवार्यता बनाता है।

Anthropic उपयोगकर्ताओं को Claude सर्व करने में प्रतिदिन $2.7 मिलियन खर्च करता है, प्रीमियम कीमतें वसूलने के बावजूद इन्फ्रास्ट्रक्चर लागत राजस्व का 85% खा जाती है।² Google के Gemini इन्फ्रास्ट्रक्चर की लागत कथित तौर पर सालाना $5 बिलियन से अधिक है, जिससे कंपनी को मुफ्त टियर उपयोग सीमित करने और उपयोगकर्ताओं को भुगतान सदस्यता की ओर धकेलने के लिए मजबूर होना पड़ा।³ बड़े पैमाने पर अर्थशास्त्र और भी क्रूर हो जाता है: प्रतिदिन एक अरब टोकन $0.001 प्रति टोकन पर सर्व करने की वार्षिक लागत $365 मिलियन है, जो पूरे स्टार्टअप को फंड करने के लिए पर्याप्त है।

हार्डवेयर हथियारों की दौड़ विरोधाभासी दिशाओं में लागत को धकेलती है। NVIDIA के H100 GPU A100 की तुलना में 3x बेहतर इन्फ़रेंस प्रदर्शन देते हैं लेकिन 2.5x अधिक महंगे हैं, जो जटिल अनुकूलन निर्णय बनाते हैं।⁴ मेमोरी बैंडविड्थ महत्वपूर्ण बाधा के रूप में उभरती है, मॉडल को प्रति पैरामीटर प्रति टोकन 2 बाइट मेमोरी बैंडविड्थ की आवश्यकता होती है, जिससे मेमोरी गति कंप्यूट पावर से अधिक महत्वपूर्ण हो जाती है।⁵ जो संगठन गलत चुनते हैं वे खुद को ऐसी लागत संरचनाओं में बंद कर लेते हैं जो उपयोगकर्ता वृद्धि की परवाह किए बिना विफलता की गारंटी देती हैं।

टोकन अर्थशास्त्र व्यावसायिक व्यवहार्यता निर्धारित करता है

टोकन उत्पादन लागत को समझने के लिए इन्फ़रेंस प्रक्रिया को घटक भागों में विभाजित करना आवश्यक है। प्रत्येक टोकन उत्पादन में मेमोरी से मॉडल वेट लोड करना, मैट्रिक्स गुणन करना, अटेंशन मैकेनिज्म लागू करना और प्रायिकता वितरण उत्पन्न करना शामिल है। Llama 2 जैसे 70-बिलियन पैरामीटर मॉडल को पूर्ण सटीकता पर प्रति टोकन 140GB मेमोरी बैंडविड्थ की आवश्यकता होती है, जो सीधे समय और बिजली खपत में अनुवादित होती है।⁶

बैच साइज़ निश्चित ओवरहेड के परिशोधन के माध्यम से प्रति-टोकन लागत को नाटकीय रूप से प्रभावित करता है। एकल अनुरोधों को सर्व करना मेमोरी ट्रांसफर पर 90% GPU क्षमता बर्बाद करता है। 32 अनुरोधों को एक साथ बैच करने से प्रति-टोकन लागत 85% कम हो जाती है जबकि विलंबता केवल 20% बढ़ती है।⁷ लागत दक्षता और उपयोगकर्ता अनुभव के बीच का ट्रेडऑफ एक महत्वपूर्ण व्यावसायिक निर्णय बन जाता है जो इन्फ्रास्ट्रक्चर डिज़ाइन को आकार देता है।

संदर्भ लंबाई लागत को तेजी से गुणा करती है। 2,000-टोकन संदर्भ के लिए अनुक्रम लंबाई के साथ द्विघाती रूप से स्केलिंग करने वाले अटेंशन मैट्रिक्स को बनाए रखना आवश्यक है। GPT-4 की 128,000 टोकन संदर्भ विंडो को 8,000 टोकन संदर्भ की तुलना में प्रोसेस करने में 64 गुना अधिक लागत आती है, जो बताता है कि OpenAI विस्तारित संदर्भों के लिए प्रीमियम कीमतें क्यों वसूलता है।⁸ मिलियन-टोकन संदर्भ वाले मॉडल आर्किटेक्चरल इनोवेशन के बिना आर्थिक रूप से अव्यवहार्य हो जाते हैं।

मॉडल साइज़ लागत संरचनाओं में स्टेप फंक्शन बनाता है। 7-बिलियन पैरामीटर मॉडल सिंगल GPU मेमोरी में फिट होता है, सरल डिप्लॉयमेंट को सक्षम बनाता है। 70-बिलियन पैरामीटर मॉडल को कई GPU में मॉडल पैरेललिज्म की आवश्यकता होती है, जो सिंक्रोनाइज़ेशन ओवरहेड जोड़ता है। 175-बिलियन पैरामीटर मॉडल हाई-स्पीड इंटरकनेक्ट के साथ विशेष इन्फ्रास्ट्रक्चर की मांग करता है। मॉडल साइज़ में प्रत्येक छलांग पैरामीटर काउंट वृद्धि से परे प्रति-टोकन लागत को 2-3x बढ़ाती है।⁹

प्रेसिशन आवश्यकताएं सबसे बड़ा अनुकूलन अवसर प्रदान करती हैं। पूर्ण FP32 प्रेसिशन अधिकतम सटीकता देती है लेकिन INT8 क्वांटाइज़ेशन की तुलना में मेमोरी बैंडविड्थ आवश्यकताओं को चौगुना कर देती है। आधुनिक क्वांटाइज़ेशन तकनीकें लागत को 75% कम करते हुए पूर्ण प्रेसिशन सटीकता का 99.5% प्राप्त करती हैं।¹⁰ बेहतर क्वांटाइज़ेशन विधियों को विकसित करने की दौड़ सीधे AI डिप्लॉयमेंट के अर्थशास्त्र को प्रभावित करती है।

हार्डवेयर आर्किटेक्चर लागत मूलभूत सिद्धांतों को आकार देता है

GPU चयन किसी भी अनुकूलन शुरू होने से पहले बेसलाइन लागत संरचनाओं को निर्धारित करता है। NVIDIA का H100 SXM 3.35TB/s मेमोरी बैंडविड्थ प्रदान करता है, 70B पैरामीटर मॉडल को प्रति सेकंड 100 टोकन पर सर्व करता है।¹¹ A100 केवल 2TB/s प्राप्त करता है, समान मॉडल के लिए थ्रूपुट को प्रति सेकंड 60 टोकन तक सीमित करता है। 67% प्रदर्शन अंतर H100 की उच्च खरीद मूल्य के बावजूद आनुपातिक रूप से कम प्रति-टोकन लागत में अनुवादित होता है।

मेमोरी क्षमता की बाधाएं महंगे आर्किटेक्चरल निर्णयों को मजबूर करती हैं। FP16 प्रेसिशन पर 70B पैरामीटर मॉडल लोड करने के लिए KV कैश, एक्टिवेशन और ओवरहेड के लिए लेखांकन से पहले 140GB मेमोरी की आवश्यकता होती है। 80GB के साथ H100 दो GPU में मॉडल पैरेललिज्म को मजबूर करता है, लागत दोगुनी और कम्युनिकेशन ओवरहेड जोड़ता है। 141GB मेमोरी के साथ आगामी H200 सिंगल-GPU सर्विंग को सक्षम बनाता है, प्रति-टोकन लागत को 45% कम करता है।¹²

AMD का MI300X 192GB HBM3 मेमोरी और 5.3TB/s बैंडविड्थ के साथ H100 की कीमत के 60% पर लागत-प्रभावी विकल्प के रूप में उभरता है।¹³ अतिरिक्त मेमोरी क्षमता पैरेललिज्म पेनल्टी के बिना बड़े मॉडल सर्व करने में सक्षम बनाती है। शुरुआती अपनाने वाले H100 डिप्लॉयमेंट की तुलना में 30% कम प्रति-टोकन लागत की रिपोर्ट करते हैं, हालांकि सॉफ्टवेयर इकोसिस्टम अपरिपक्वता परिचालन चुनौतियां बनाती है। हार्डवेयर बचत और सॉफ्टवेयर जटिलता के बीच ट्रेडऑफ के लिए सावधानीपूर्वक मूल्यांकन की आवश्यकता होती है।

Intel का Gaudi 3 एक्सेलेरेटर ट्रांसफॉर्मर मॉडल के लिए आर्किटेक्चरल ऑप्टिमाइज़ेशन के साथ विशेष रूप से इन्फ़रेंस वर्कलोड को लक्षित करता है। चिप H100 के 700W की तुलना में केवल 600W खपत करते हुए 3.7TB/s बैंडविड्थ के साथ 128GB HBM2e मेमोरी प्रदान करता है।¹⁴ Intel इन्फ़रेंस वर्कलोड के लिए 40% कम कुल स्वामित्व लागत का दावा करता है, हालांकि सीमित उपलब्धता और सॉफ्टवेयर समर्थन अपनाने में बाधा डालते हैं।

CPU-आधारित इन्फ़रेंस विशिष्ट परिदृश्यों के लिए प्रतिस्पर्धी अर्थशास्त्र के साथ कई लोगों को आश्चर्यचकित करता है। 192 vCPU के साथ AWS Graviton4 इंस्टेंस छोटे मॉडल को प्रति हजार टोकन $0.0008 पर सर्व कर सकते हैं, कम-थ्रूपुट अनुप्रयोगों के लिए GPU प्राइसिंग के साथ प्रतिस्पर्धी।¹⁵ यह दृष्टिकोण रुक-रुक कर ट्रैफ़िक वाले अनुप्रयोगों के लिए काम करता है जहां GPU उपयोग कम रहेगा। मिश्रित CPU-GPU आर्किटेक्चर मॉडल साइज़ और तात्कालिकता के आधार पर अनुरोधों को रूट करके लागत का अनुकूलन करते हैं।

सॉफ्टवेयर ऑप्टिमाइज़ेशन नाटकीय सुधार प्रदान करते हैं

क्वांटाइज़ेशन तकनीकें किसी भी हार्डवेयर अपग्रेड से अधिक लागत कम करती हैं। GPTQ क्वांटाइज़ेशन न्यूनतम सटीकता हानि के साथ मॉडल को 4-बिट प्रेसिशन में संपीड़ित करता है, मेमोरी बैंडविड्थ आवश्यकताओं को 87.5% कम करता है।¹⁶ AWQ (Activation-aware Weight Quantization) महत्वपूर्ण वेट को उच्च प्रेसिशन पर संरक्षित करता है जबकि अन्य को आक्रामक रूप से क्वांटाइज़ करता है, 1% से कम सटीकता गिरावट के साथ 3-बिट औसत प्रेसिशन प्राप्त करता है।¹⁷ क्वांटाइज़ेशन लागू करने वाले संगठन स्वीकार्य गुणवत्ता ट्रेडऑफ के साथ 4-6x लागत कटौती की रिपोर्ट करते हैं।

KV कैश ऑप्टिमाइज़ेशन मल्टी-टर्न वार्तालापों में मेमोरी विस्फोट को रोकता है। PagedAttention ऑपरेटिंग सिस्टम पेजों की तरह कैश मेमोरी को वर्चुअलाइज़ करता है, मेमोरी बर्बादी को 55% कम करता है।¹⁸ Multi-Query Attention अटेंशन हेड्स में की और वैल्यू प्रोजेक्शन साझा करता है, कैश आवश्यकताओं को 8x कम करता है।¹⁹ ये ऑप्टिमाइज़ेशन समान हार्डवेयर पर 10x अधिक समवर्ती उपयोगकर्ताओं को सर्व करने में सक्षम बनाते हैं, प्रति-टोकन अर्थशास्त्र में नाटकीय रूप से सुधार करते हैं।

स्पेक्युलेटिव डिकोडिंग अतिरिक्त हार्डवेयर के बिना इन्फ़रेंस को 2-3x तेज करता है। छोटे ड्राफ्ट मॉडल टोकन उम्मीदवार उत्पन्न करते हैं जिन्हें बड़े मॉडल समानांतर में सत्यापित करते हैं, कंप्यूटेशन लागत का परिशोधन करते हैं।²⁰ Medusa आर्किटेक्चर एक साथ कई टोकन की भविष्यवाणी करने के लिए मल्टीपल डिकोडिंग हेड्स जोड़ते हैं, ग्रीडी डिकोडिंग के लिए 2.8x स्पीडअप प्राप्त करते हैं।²¹ ये तकनीकें कोड जनरेशन जैसे स्ट्रक्चर्ड आउटपुट के लिए विशेष रूप से अच्छी तरह से काम करती हैं जहां पैटर्न पूर्वानुमान योग्य होते हैं।

डायनामिक बैचिंग विभिन्न लंबाई के अनुरोधों को संयोजित करके हार्डवेयर उपयोग को अधिकतम करता है। कंटीन्यूअस बैचिंग टोकन पूर्ण होने पर मौजूदा बैचों में नए अनुरोध जोड़ता है, स्टैटिक बैचिंग के साथ 40% की तुलना में 90%+ GPU उपयोग बनाए रखता है।²² इस तकनीक के लिए परिष्कृत शेड्यूलिंग की आवश्यकता होती है लेकिन प्रोडक्शन डिप्लॉयमेंट में प्रति-टोकन लागत को 50% कम करती है।

मॉडल रूटिंग बुद्धिमानी से अनुरोधों को उपयुक्त संसाधनों पर निर्देशित करता है। सरल क्वेरी छोटे मॉडल या क्वांटाइज़्ड वर्जन को रूट होती हैं, जबकि जटिल अनुरोधों को पूर्ण मॉडल ध्यान मिलता है। मिक्सचर-ऑफ-एक्सपर्ट्स आर्किटेक्चर केवल प्रासंगिक पैरामीटर को सक्रिय करते हैं, गुणवत्ता बनाए रखते हुए कंप्यूटेशन को 85% कम करते हैं।²³ स्मार्ट रूटिंग रणनीतियाँ सभी अनुरोधों को सबसे बड़े मॉडल के साथ सर्व करने की तुलना में औसत प्रति-टोकन लागत को 60% कम कर सकती हैं।

डिप्लॉयमेंट आर्किटेक्चर कुल लागत को प्रभावित करता है

केंद्रीकृत डिप्लॉयमेंट साझा इन्फ्रास्ट्रक्चर के माध्यम से स्केल की अर्थव्यवस्थाओं को प्राप्त करते हुए विशाल क्लस्टर में संसाधनों को केंद्रित करता है। कई मॉडल सर्व करने वाला 1,000-GPU क्लस्टर सांख्यिकीय मल्टीप्लेक्सिंग के माध्यम से 85% उपयोग प्राप्त करता है।²⁴ कूलिंग, पावर और नेटवर्किंग लागत अधिक कंप्यूट में परिशोधित होती है, वितरित डिप्लॉयमेंट की तुलना में प्रति-टोकन लागत को 25% कम करती है। हालांकि, भौगोलिक रूप से वितरित उपयोगकर्ताओं के लिए नेटवर्क विलंबता और डेटा इग्रेस शुल्क बचत को ऑफसेट करते हैं।

एज डिप्लॉयमेंट इन्फ़रेंस को उपयोगकर्ताओं के करीब लाता है लेकिन संसाधनों को विखंडित करता है। उपयोगकर्ताओं के पास 100 छोटे क्लस्टर तैनात करने से नेटवर्क लागत और विलंबता कम होती है लेकिन उपयोग 40-50% तक कम हो जाता है।²⁵ प्रत्येक स्थान को अनावश्यक इन्फ्रास्ट्रक्चर, मॉनिटरिंग और रखरखाव की आवश्यकता होती है। एज डिप्लॉयमेंट आमतौर पर प्रति टोकन 2-3x अधिक महंगे होते हैं लेकिन बेहतर उपयोगकर्ता अनुभव और डेटा संप्रभुता लाभ प्रदान करते हैं।

हाइब्रिड आर्किटेक्चर विभिन्न मॉडल टियर को रणनीतिक रूप से तैनात करके लागत और प्रदर्शन को संतुलित करते हैं। छोटे मॉडल कम-विलंबता प्रतिक्रियाओं के लिए एज लोकेशन पर चलते हैं, जबकि जटिल अनुरोध बड़े मॉडल के साथ केंद्रीकृत क्लस्टर को रूट होते हैं। Introl संगठनों को हमारे 257 वैश्विक स्थानों में हाइब्रिड डिप्लॉयमेंट डिज़ाइन करने में मदद करता है, लागत और उपयोगकर्ता अनुभव के बीच ट्रेडऑफ का अनुकूलन करता है।

AWS Bedrock और Google Vertex AI जैसे सर्वरलेस इन्फ़रेंस प्लेटफॉर्म इन्फ्रास्ट्रक्चर जटिलता को अमूर्त करते हैं लेकिन प्रीमियम कीमतें वसूलते हैं। Llama 2 70B के लिए AWS Bedrock की लागत प्रति हजार टोकन $0.008 है, सेल्फ-होस्टेड इन्फ्रास्ट्रक्चर से 10x अधिक।²⁶ प्रीमियम शून्य परिचालन ओवरहेड और तत्काल स्केलिंग के लिए भुगतान करता है, अप्रत्याशित वर्कलोड के लिए समझ में आता है। स्थिर ट्रैफ़िक वाले संगठन अपना इन्फ्रास्ट्रक्चर खुद प्रबंधित करके 70-80% बचाते हैं।

मल्टी-क्लाउड रणनीतियाँ प्रदाताओं में प्राइसिंग विविधताओं और स्पॉट उपलब्धता का फायदा उठाती हैं। Azure के स्पॉट A100 इंस्टेंस 95% उपलब्धता के साथ ऑन-डिमांड प्राइसिंग से 60% कम महंगे हैं।²⁷ Google Cloud के कमिटेड यूज़ डिस्काउंट तीन साल की प्रतिबद्धताओं के लिए लागत को 57% कम करते हैं।²⁸ परिष्कृत ऑर्केस्ट्रेशन प्लेटफॉर्म सर्विस लेवल बनाए रखते हुए अनुरोधों को सबसे सस्ते उपलब्ध इन्फ्रास्ट्रक्चर पर रूट करते हैं।

वास्तविक डिप्लॉयमेंट ऑप्टिमाइज़ेशन पैटर्न प्रकट करते हैं

Spotify की पॉडकास्ट ट्रांसक्रिप्शन सेवा प्रोडक्शन में आक्रामक ऑप्टिमाइज़ेशन प्रदर्शित करती है। कंपनी 5,000 घंटे के दैनिक ऑडियो में Whisper Large V3 सर्व करती है, 50 मिलियन टोकन उत्पन्न करती है। A100 GPU पर प्रारंभिक डिप्लॉयमेंट की दैनिक लागत $18,000 थी। INT8 क्वांटाइज़ेशन, कंटीन्यूअस बैचिंग और Flash Attention लागू करने से 99.2% सटीकता बनाए रखते हुए लागत $4,500 दैनिक हो गई।²⁹

Shopify का मर्चेंट असिस्टेंट कंवर्सेशनल AI के अर्थशास्त्र को प्रदर्शित करता है। सिस्टम प्रतिदिन 10 मिलियन वार्तालापों को संभालता है जिनमें औसतन 20 टर्न होते हैं, प्रतिदिन 2 बिलियन टोकन उत्पन्न करते हैं। परिष्कृत कैशिंग और रूटिंग के साथ H100 इन्फ्रास्ट्रक्चर पर चलते हुए, सेवा की मासिक लागत $450,000 है। ऑप्टिमाइज़ेशन के बिना, समान वर्कलोड की लागत $2.1 मिलियन होगी, जो व्यवस्थित ऑप्टिमाइज़ेशन के प्रभाव को प्रदर्शित करता है।³⁰

वित्तीय संस्थान नियामक बाधाओं के कारण अलग तरीके से ऑप्टिमाइज़ करते हैं। JPMorgan का रिसर्च असिस्टेंट सख्त विलंबता आवश्यकताओं और क्लाइंट्स के बीच कोई डेटा शेयरिंग न होने के साथ 50,000 विश्लेषकों को सेवा प्रदान करता है। बैंक प्रति क्लाइंट ग्रुप डेडिकेटेड मॉडल इंस्टेंस तैनात करता है, ग्राहक आइसोलेशन के लिए बैचिंग दक्षता का त्याग करता है।