इन्फरेंस यूनिट इकोनॉमिक्स: प्रति मिलियन टोकन की वास्तविक लागत

अपडेट: 8 दिसंबर, 2025

दिसंबर 2025 अपडेट: LLM इन्फरेंस लागत में सालाना 10 गुना गिरावट आई—PC कंप्यूट या डॉटकॉम बैंडविड्थ से भी तेज़। GPT-4 समकक्ष प्रदर्शन अब $0.40/मिलियन टोकन पर उपलब्ध है जबकि 2022 के अंत में यह $20 था। क्लाउड H100 की कीमतें शिखर से 64-75% गिरावट के बाद $2.85-$3.50/घंटे पर स्थिर हुईं। DeepSeek ने इनकंबेंट्स से 90% कम मूल्य निर्धारण के साथ बाज़ार को हिला दिया। सेल्फ-होस्टेड ब्रेकईवन के लिए 7B मॉडल में 50%+ GPU उपयोग और 13B मॉडल में 10%+ की आवश्यकता होती है। क्वांटाइज़ेशन से परिचालन लागत 60-70% कम हो रही है। स्पेक्युलेटिव डिकोडिंग से लेटेंसी 2-3 गुना कम हो रही है।

LLM इन्फरेंस बाज़ार पारंपरिक टेक्नोलॉजी इकोनॉमिक्स की धारणाओं को चुनौती देता है। माइक्रोप्रोसेसर क्रांति के दौरान PC कंप्यूट या डॉटकॉम बूम के दौरान बैंडविड्थ की तुलना में कीमतें तेज़ी से गिरीं—समकक्ष प्रदर्शन की लागत हर साल 10 गुना कम होती है।¹ 2022 के अंत में जो क्षमता $20 प्रति मिलियन टोकन की लागत रखती थी, वह अब $0.40 में उपलब्ध है।² फिर भी संगठन अपनी वास्तविक इन्फरेंस लागत को समझने में संघर्ष करते हैं क्योंकि टोकन-स्तरीय मूल्य निर्धारण इंफ्रास्ट्रक्चर की वास्तविकताओं को छुपाता है, GPU उपयोग वास्तविक यूनिट इकोनॉमिक्स निर्धारित करता है, और ऑप्टिमाइज़ेशन तकनीकें लागत दक्षता में बड़े अंतर पैदा करती हैं। इन्फरेंस इकोनॉमिक्स में महारत हासिल करना यह निर्धारित करता है कि AI डिप्लॉयमेंट मूल्य उत्पन्न करते हैं या पूंजी की बर्बादी करते हैं।

दिसंबर 2025 में इन्फरेंस प्राइसिंग लैंडस्केप

मॉडल क्षमता, प्रोवाइडर और ऑप्टिमाइज़ेशन के आधार पर API प्राइसिंग तीन ऑर्डर ऑफ मैग्निट्यूड में फैली है। वर्तमान लैंडस्केप को समझना आर्थिक निर्णय लेने के लिए संदर्भ प्रदान करता है।

बजट टियर मॉडल अब प्रति मिलियन टोकन एक पैसे के कुछ हिस्से में उपलब्ध हैं। Google का Gemini Flash-Lite $0.075 प्रति मिलियन इनपुट टोकन और $0.30 प्रति मिलियन आउटपुट टोकन पर अग्रणी है।³ Together.ai या Hyperbolic जैसे प्रोवाइडर्स के माध्यम से ओपन-सोर्स मॉडल और भी कम लागत पर उपलब्ध हैं—Llama 3.2 3B $0.06 प्रति मिलियन टोकन पर चलता है, जो तीन साल पहले की लागत के 1/1000वें हिस्से पर 42 का MMLU स्कोर प्राप्त करता है।⁴

मिड-टियर प्रोडक्शन मॉडल क्षमता और लागत के बीच संतुलन बनाते हैं। Claude Sonnet 4 की कीमत $3 प्रति मिलियन इनपुट टोकन और $15 प्रति मिलियन आउटपुट टोकन है।⁵ DeepSeek के R1 मॉडल ने $0.55 इनपुट और $2.19 आउटपुट प्रति मिलियन टोकन पर बाज़ार को झकझोर दिया—तुलनीय रीज़निंग क्षमता के लिए पश्चिमी प्रतिस्पर्धियों से 90% कम।⁶ चीनी प्रोवाइडर्स लगातार पश्चिमी इनकंबेंट्स को मात देते हैं, जिससे मूल्य दबाव बनता है जो सभी खरीदारों को लाभ पहुंचाता है।

फ्रंटियर कैपेबिलिटी मॉडल प्रीमियम प्राइसिंग की मांग करते हैं। Claude Opus 4 की लागत $15 प्रति मिलियन इनपुट टोकन और $75 प्रति मिलियन आउटपुट टोकन है।⁷ GPT-4 और समान फ्रंटियर मॉडल समान मूल्य पर उपलब्ध हैं, जो उन क्षमताओं द्वारा उचित ठहराया जाता है जिन्हें छोटे मॉडल लागत ऑप्टिमाइज़ेशन के बावजूद दोहरा नहीं सकते।

प्रोवाइडर वैरिएशन जटिलता बढ़ाता है। समान मॉडल के लिए, सबसे सस्ते और सबसे महंगे प्रोवाइडर्स के बीच कीमतें 10 गुना तक भिन्न होती हैं।⁸ एक मॉडल सबसे सस्ते प्रोवाइडर से $0.90 प्रति मिलियन टोकन, मीडियन पर $3.50 और सबसे महंगे से $9.50 तक हो सकता है। किसी भी तकनीकी ऑप्टिमाइज़ेशन से पहले प्रोवाइडर्स में खरीदारी करना इकोनॉमिक्स पर महत्वपूर्ण प्रभाव डालता है।

आउटपुट टोकन प्राइसिंग असमानता वास्तविक लागत को दर्शाती है। OpenAI, Anthropic और Google आउटपुट टोकन की कीमत इनपुट टोकन से 3-5 गुना अधिक रखते हैं क्योंकि आउटपुट जनरेशन के लिए सीक्वेंशियल प्रोसेसिंग की आवश्यकता होती है जबकि इनपुट प्रोसेसिंग कुशलता से पैरेलल होती है।⁹ लंबे आउटपुट उत्पन्न करने वाले एप्लिकेशन उन एप्लिकेशन से अलग इकोनॉमिक्स का सामना करते हैं जो संक्षिप्त प्रतिक्रियाओं के साथ लंबे इनपुट प्रोसेस करते हैं।

वास्तविक GPU इंफ्रास्ट्रक्चर लागत को समझना

API प्राइसिंग के पीछे GPU इंफ्रास्ट्रक्चर अपनी लागत संरचना के साथ है। इन इकोनॉमिक्स को समझना सूचित बिल्ड-वर्सस-बाय निर्णय सक्षम करता है।

हार्डवेयर अधिग्रहण लागत ऊंची शुरू होती है और जमा होती रहती है। NVIDIA H100 GPU की लागत $25,000-$40,000 प्रति कार्ड है, पूर्ण 8-GPU सर्वर सिस्टम इंफ्रास्ट्रक्चर सहित $200,000-$400,000 तक पहुंचते हैं।¹⁰ NVIDIA की निर्माण लागत लगभग $3,320 प्रति H100 है—उत्पादन लागत और बिक्री मूल्य के बीच का अंतर डिमांड-ड्रिवन मार्जिन को दर्शाता है जो हाल ही में मध्यम होना शुरू हुआ है।

क्लाउड GPU रेंटल रेट्स नाटकीय गिरावट के बाद स्थिर हुई हैं। H100 SXM इंस्टेंस $1.49/घंटे (Hyperbolic) से $6.98/घंटे (Azure) तक हैं, अधिकांश प्रोवाइडर्स शिखर कीमतों से 64-75% गिरावट के बाद $2.85-$3.50/घंटे के आसपास क्लस्टर करते हैं।¹¹ रिज़र्व्ड कैपेसिटी रेट्स को और कम करती है—Lambda Labs $1.85/घंटे और Hyperstack प्रतिबद्धताओं के साथ $1.90/घंटे से शुरू होती है।

पावर और कूलिंग लागत हार्डवेयर खर्च को बढ़ाती है। प्रत्येक H100 लोड के तहत 700W तक खपत करता है। मल्टी-GPU क्लस्टर को समर्पित पावर डिस्ट्रीब्यूशन यूनिट की आवश्यकता होती है जो सुविधा उन्नयन के लिए संभावित रूप से $10,000-$50,000 खर्च कर सकती है।¹² लिक्विड कूलिंग इंफ्रास्ट्रक्चर या उन्नत HVAC सिस्टम स्केल के आधार पर $15,000-$100,000 जोड़ते हैं। ये लागत GPU घंटों में एमॉर्टाइज़ होती हैं लेकिन कुल स्वामित्व इकोनॉमिक्स को महत्वपूर्ण रूप से प्रभावित करती हैं।

ऑपरेशनल ओवरहेड रॉ हार्डवेयर रेंटल और वास्तविक लागत के बीच के अंतर को पाटता है। कूलिंग, फैसिलिटीज़ और मेंटेनेंस को फैक्टर करने से रॉ GPU रेंटल रेट्स में लगभग $2-7 प्रति घंटा जुड़ता है, जब उचित रूप से एमॉर्टाइज़ किया जाता है तो वास्तविक 8×H100 ऑपरेशनल लागत $8-$15/घंटे तक लाता है।¹³ क्लाउड रेंटल की API प्राइसिंग से तुलना करने वाले संगठनों को वैध तुलना करने के लिए इन छिपी लागतों को शामिल करना चाहिए।

उपयोग समीकरण जो व्यवहार्यता निर्धारित करता है

GPU उपयोग निर्धारित करता है कि सेल्फ-होस्टेड इन्फरेंस आर्थिक रूप से समझदारी भरा है या नहीं। 10% लोड पर चलने वाले GPU के लिए भुगतान करना $0.013 प्रति हज़ार टोकन को $0.13 में बदल देता है—प्रीमियम API से भी अधिक महंगा।¹⁴

ब्रेकईवन विश्लेषण मॉडल आकार और उपयोग लक्ष्यों पर निर्भर करता है। 7B मॉडल होस्ट करने के लिए GPT-3.5 Turbo से कम लागत के लिए लगभग 50% उपयोग की आवश्यकता होती है।¹⁵ 13B मॉडल केवल 10% उपयोग पर GPT-4-turbo के साथ कॉस्ट पैरिटी प्राप्त करता है क्योंकि बड़े मॉडल की क्षमता प्रीमियम उच्च इंफ्रास्ट्रक्चर निवेश को उचित ठहराती है। महत्वपूर्ण अंतर्दृष्टि: बड़े मॉडल कम उपयोग पर ब्रेकईवन होते हैं क्योंकि वे अधिक महंगे API विकल्पों की जगह लेते हैं।

ट्रैफिक पैटर्न प्राप्य उपयोग निर्धारित करते हैं। सुसंगत, पूर्वानुमानित वर्कलोड वाले संगठन छिटपुट मांग वाले संगठनों की तुलना में उच्च उपयोग प्राप्त करते हैं। दैनिक ट्रैफिक साइकिल वाले कंज़्यूमर-फेसिंग एप्लिकेशन ऑफ-पीक घंटों के दौरान GPU क्षमता बर्बाद करते हैं जब तक कि वर्कलोड को शिफ्ट या इंफ्रास्ट्रक्चर को डायनामिकली स्केल नहीं किया जा सकता।

रिक्वेस्ट वॉल्यूम थ्रेशोल्ड न्यूनतम व्यवहार्य स्केल स्थापित करते हैं। विश्लेषण बताता है कि सेल्फ-होस्टेड इंफ्रास्ट्रक्चर के प्रबंधित समाधानों से कम लागत आने से पहले प्रतिदिन 8,000 से अधिक बातचीत की आवश्यकता होती है।¹⁶ इस थ्रेशोल्ड से नीचे, सेल्फ-होस्टिंग की ऑपरेशनल जटिलता और फिक्स्ड कॉस्ट संभावित बचत से अधिक होती है।

बैच प्रोसेसिंग अवसर उपयोग इकोनॉमिक्स में सुधार करते हैं। डिफरेबल वर्कलोड—ऑफलाइन एनालिसिस, बैच एम्बेडिंग्स, डेटासेट प्रोसेसिंग—वाले संगठन उच्च-उपयोग विंडो में मांग को एकत्रित कर सकते हैं, वैरिएबल रियल-टाइम ट्रैफिक के साथ भी प्रभावी उपयोग में सुधार करते हैं। साझा इंफ्रास्ट्रक्चर पर रियल-टाइम और बैच वर्कलोड का मिश्रण कैपिटल एफिशिएंसी को ऑप्टिमाइज़ करता है।

प्रोडक्शन डिप्लॉयमेंट के लिए कॉस्ट स्ट्रक्चर ब्रेकडाउन

प्रोडक्शन इन्फरेंस लागत उन घटकों में विघटित होती है जिन्हें ऑप्टिमाइज़ेशन व्यक्तिगत रूप से संबोधित कर सकता है।

मॉडल लोडिंग और मेमोरी ट्रैफिक की परवाह किए बिना फिक्स्ड रिसोर्सेज़ खपत करती है। FP16 में 70B पैरामीटर मॉडल को लगभग 140GB GPU मेमोरी की आवश्यकता होती है—सिंगल-GPU क्षमता से अधिक और मल्टी-GPU कॉन्फ़िगरेशन अनिवार्य करती है।¹⁷ मेमोरी लागत मॉडल आकार के साथ स्केल करती है, उपयोग के साथ नहीं, जो ट्रैफिक वॉल्यूम की परवाह किए बिना न्यूनतम इंफ्रास्ट्रक्चर थ्रेशोल्ड बनाती है।

प्रति टोकन कंप्यूट इन्फरेंस के दौरान मार्जिनल कॉस्ट ड्राइव करता है। फॉरवर्ड पास कंप्यूटेशन मॉडल आर्किटेक्चर—विशेष रूप से लंबे कॉन्टेक्स्ट के लिए अटेंशन मैकेनिज़्म—के साथ स्केल करता है। कंप्यूट कॉस्ट बैचिंग के साथ घटती है क्योंकि मैट्रिक्स ऑपरेशंस बड़े बैच साइज़ पर अधिक कुशल होते हैं, ओवरहेड को अधिक टोकन में एमॉर्टाइज़ करते हैं।

KV कैश मेमोरी कॉन्टेक्स्ट लेंथ और कंकरेंट रिक्वेस्ट के साथ बढ़ती है। प्रत्येक एक्टिव रिक्वेस्ट key-value कैश बनाए रखती है जो कॉन्टेक्स्ट लेंथ के अनुपात में मेमोरी खपत करती है। लॉन्ग-कॉन्टेक्स्ट एप्लिकेशन मेमोरी प्रेशर का सामना करते हैं जो कंकरेंट रिक्वेस्ट को सीमित करता है, थ्रूपुट को कम करता है और प्रति-टोकन लागत बढ़ाता है। KV कैश मैनेजमेंट एक प्राथमिक ऑप्टिमाइज़ेशन टारगेट का प्रतिनिधित्व करता है।

नेटवर्क और स्टोरेज I/O मल्टी-GPU और डिस्ट्रीब्यूटेड डिप्लॉयमेंट को प्रभावित करता है। टेंसर पैरेललिज़्म के लिए इंटर-GPU कम्युनिकेशन, स्टोरेज से मॉडल वेट्स लोड करना, और रिज़ल्ट्स ट्रांसमिट करना सभी रिसोर्सेज़ खपत करते हैं। हाई-बैंडविड्थ नेटवर्किंग (NVLink, InfiniBand) I/O बॉटलनेक कम करती है लेकिन इंफ्रास्ट्रक्चर निवेश बढ़ाती है।

ऑपरेशनल ओवरहेड में मॉनिटरिंग, लॉगिंग, सिक्योरिटी और मैनेजमेंट शामिल है। प्रोडक्शन सिस्टम को ऑब्ज़र्वेबिलिटी इंफ्रास्ट्रक्चर, ऑन-कॉल पर्सनेल और ऑनगोइंग ऑप्टिमाइज़ेशन एफर्ट की आवश्यकता होती है। संगठन अक्सर सेल्फ-होस्टेड की API विकल्पों से तुलना करते समय इन "सॉफ्ट" लागतों को कम आंकते हैं।

ऑप्टिमाइज़ेशन तकनीकें जो इकोनॉमिक्स को बदल देती हैं

टेक्निकल ऑप्टिमाइज़ेशन इन्फरेंस लागत को 60-70% या उससे अधिक कम कर सकते हैं, मार्जिनल इकोनॉमिक्स को सस्टेनेबल एडवांटेज में बदल देते हैं।¹⁸

क्वांटाइज़ेशन मॉडल वेट्स की प्रिसिज़न को 32-बिट फ्लोटिंग पॉइंट से 8-बिट या 4-बिट रिप्रेज़ेंटेशन तक कम करता है। यह तकनीक स्वीकार्य एक्युरेसी बनाए रखते हुए मॉडल साइज़ को 4-8 गुना सिकोड़ती है।¹⁹ 8-बिट क्वांटाइज़ेशन लगभग 1% एक्युरेसी लॉस के साथ मेमोरी उपयोग 50% कम करता है। 4-बिट क्वांटाइज़ेशन कई एप्लिकेशंस के लिए प्रतिस्पर्धी परफॉर्मेंस बनाए रखते हुए 75% साइज़ रिडक्शन प्राप्त करता है। Blackwell GPU का FP4 सपोर्ट अकेले क्वांटाइज़ेशन से 4x परफॉर्मेंस गेन सक्षम करता है।

कंटीन्यूअस बैचिंग फिक्स्ड बैच कम्प्लीशन की प्रतीक्षा करने के बजाय रिक्वेस्ट को डायनामिकली ग्रुप करती है। ट्रेडिशनल बैचिंग नई रिक्वेस्ट प्रोसेस करने से पहले सबसे लंबी सीक्वेंस के पूरा होने की प्रतीक्षा करती है। कंटीन्यूअस बैचिंग पूर्ण हुई सीक्वेंस को तुरंत इवैक्ट करती है और जबकि अन्य फ्लाइट में रहती हैं तब नई रिक्वेस्ट शुरू करती है।²⁰ यह तकनीक वैरिएबल सीक्वेंस लेंथ वाले वर्कलोड के लिए GPU उपयोग में नाटकीय सुधार करती है—बिल्कुल वही पैटर्न जो अधिकांश प्रोडक्शन डिप्लॉयमेंट प्रदर्शित करते हैं।

स्पेक्युलेटिव डिकोडिंग एक छोटे "ड्राफ्ट" मॉडल का उपयोग करके कई टोकन की भविष्यवाणी करती है जिन्हें एक बड़ा "वेरिफिकेशन" मॉडल पैरेलल में चेक करता है।²¹ जब भविष्यवाणियां सही साबित होती हैं, तो स्टैंडर्ड सिंगल टोकन के बजाय प्रति फॉरवर्ड पास कई टोकन जेनरेट होते हैं। यह तकनीक उन एप्लिकेशंस के लिए लेटेंसी 2-3 गुना कम करती है जहां एक छोटा मॉडल बड़े मॉडल के आउटपुट की सटीक भविष्यवाणी कर सकता है—विशेष रूप से कंस्ट्रेन्ड डोमेन या स्ट्रक्चर्ड आउटपुट के लिए प्रभावी।

KV कैश ऑप्टिमाइज़ेशन जिसमें PagedAttention शामिल है, कैश मेमोरी को वर्चुअल मेमोरी की तरह मैनेज करता है, फ्रैगमेंटेशन कम करता है और हायर कंकरेंसी सक्षम करता है।²² कैश कम्प्रेशन तकनीकें मेमोरी फुटप्रिंट को और कम करती हैं। प्रीफिक्स कैशिंग रिकम्प्यूटेशन से बचती है जब रिक्वेस्ट कॉमन प्रीफिक्स शेयर करती हैं—स्ट्रक्चर्ड प्रॉम्प्ट या सिस्टम इंस्ट्रक्शन वाले एप्लिकेशंस के लिए मूल्यवान।

मॉडल डिस्टिलेशन छोटे मॉडल बनाता है जो विशिष्ट डोमेन के लिए बड़े मॉडल के व्यवहार की नकल करते हैं। टारगेटेड टास्क पर GPT-4 परफॉर्मेंस मैच करने वाला डिस्टिल्ड 7B मॉडल एप्लिकेशन-रेलेवेंट क्वालिटी बनाए रखते हुए इंफ्रास्ट्रक्चर लागत के एक अंश पर चलता है।²³ डिस्टिलेशन के लिए ट्रेनिंग में अपफ्रंट इन्वेस्टमेंट की आवश्यकता होती है लेकिन ऑनगोइंग इन्फरेंस सेविंग्स प्रोड्यूस करता है।

संयुक्त रूप से, ये तकनीकें कंपाउंड होती हैं। क्वांटाइज़ेशन (4x), कंटीन्यूअस बैचिंग (2x), और स्पेक्युलेटिव डिकोडिंग (2x) लागू करने वाला संगठन नेव डिप्लॉयमेंट की तुलना में 16x इफेक्टिव कॉस्ट रिडक्शन प्राप्त कर सकता है—मार्जिनल लगने वाले इकोनॉमिक्स को सब्स्टैंशियल एडवांटेज में ट्रांसफॉर्म करते हुए।

API बनाम सेल्फ-होस्टेड डिसीज़न फ्रेमवर्क

बिल्ड-वर्सस-बाय निर्णय सिंपल कॉस्ट कम्पेरिज़न से परे फैक्टर्स पर निर्भर करता है।

API इन्फरेंस चुनें जब: - ट्रैफिक छिटपुट या अप्रत्याशित हो - वॉल्यूम प्रतिदिन 8,000 बातचीत से कम हो - इंजीनियरिंग कैपेसिटी सीमित हो - मॉडल सिलेक्शन पर रैपिड इटरेशन मूल्यवान हो - कंप्लायंस रिक्वायरमेंट्स प्रोवाइडर सर्टिफिकेशन से संतुष्ट हों - लेटेंसी रिक्वायरमेंट्स प्रोवाइडर SLA से मेल खाएं

सेल्फ-होस्टेड चुनें जब: - ट्रैफिक सुसंगत और हाई-वॉल्यूम हो - GPU उपयोग सस्टेनेबली 50% से अधिक हो सके - डेटा सॉवरेनिटी क्लाउड API उपयोग को रोकती हो - कस्टम मॉडल स्पेशलाइज़्ड सर्विंग की आवश्यकता रखते हों - लेटेंसी रिक्वायरमेंट्स प्रोवाइडर कैपेबिलिटीज़ से अधिक हों - कॉस्ट ऑप्टिमाइज़ेशन इंजीनियरिंग इन्वेस्टमेंट को जस्टिफाई करे

हाइब्रिड अप्रोच अक्सर ऑप्टिमल साबित होते हैं। संगठन बेसलाइन रूट करते हैं

[अनुवाद के लिए सामग्री छोटी की गई]