NVIDIA B200 बनाम GB200 डिप्लॉयमेंट की संपूर्ण गाइड: पावर, कूलिंग और ROI विश्लेषण

8 दिसंबर, 2025 को अपडेट किया गया

NVIDIA की Blackwell आर्किटेक्चर दो डिप्लॉयमेंट पथों में विभाजित होती है जो इंफ्रास्ट्रक्चर टीमों को करोड़ों डॉलर के निर्णय लेने पर मजबूर करती है। B200 समान पावर खपत पर H100 से 2.5 गुना बेहतर परफॉर्मेंस देता है।¹ GB200 Grace-Blackwell Superchip बड़े लैंग्वेज मॉडल्स के लिए 30 गुना इन्फरेंस स्पीड प्रदान करता है लेकिन पूरी तरह से नए इंफ्रास्ट्रक्चर डिज़ाइन की मांग करता है।² Blackwell सिस्टम अब बड़ी मात्रा में शिप हो रहे हैं और GB300 Blackwell Ultra प्रोडक्शन में प्रवेश कर रहा है, संगठनों को महत्वपूर्ण इंफ्रास्ट्रक्चर निर्णय लेने हैं।

दिसंबर 2025 अपडेट: GB200 NVL72 सिस्टम दिसंबर 2024 में प्रमुख क्लाउड प्रोवाइडर्स (Microsoft, Oracle, AWS, Meta) को शिप होने शुरू हुए, Q2-Q3 2025 में मास प्रोडक्शन बढ़ रहा है। Supermicro ने फरवरी 2025 में HGX B200 सॉल्यूशंस की पूर्ण प्रोडक्शन उपलब्धता की घोषणा की। इसी बीच, NVIDIA ने GTC 2025 (मार्च) में GB300 Blackwell Ultra का अनावरण किया, जो GB200 से 50% अधिक परफॉर्मेंस प्रदान करता है—शिपिंग सितंबर 2025 से शुरू। B200 GPU अब AWS और GCP पर उपलब्ध हैं, हालांकि Blackwell की मांग इतनी अधिक है कि नए ऑर्डर्स पर 12 महीने की प्रतीक्षा सूची है।

सेमीकंडक्टर इंडस्ट्री इन डिप्लॉयमेंट्स पर बारीकी से नजर रखती है क्योंकि ये AI एक्सेलरेशन के लिए मौलिक रूप से अलग दृष्टिकोणों का प्रतिनिधित्व करते हैं। शुद्ध GPU एक्सेलरेशन (B200) उन वर्कलोड्स के लिए CPU-GPU इंटीग्रेशन (GB200) से प्रतिस्पर्धा करता है जो 2030 तक $2 ट्रिलियन कंप्यूट रिसोर्सेज खपत करेंगे।³ शुरुआती अपनाने वालों ने वर्कलोड विशेषताओं के आधार पर 10 गुना परफॉर्मेंस भिन्नताओं की रिपोर्ट की है, जिससे चयन प्रक्रिया प्रतिस्पर्धी स्थिति के लिए महत्वपूर्ण हो जाती है।

Jensen Huang Blackwell को "नई औद्योगिक क्रांति को शक्ति देने वाला इंजन" कहते हैं, फिर भी NVIDIA दो इंजन प्रदान करता है जिनकी ईंधन आवश्यकताएं बिल्कुल अलग हैं।⁴ इंफ्रास्ट्रक्चर टीमों को विकासात्मक अपग्रेड जो मौजूदा डिज़ाइन का लाभ उठाते हैं और क्रांतिकारी डिप्लॉयमेंट जो पूर्ण सुविधा पुनर्डिज़ाइन की आवश्यकता होती है, के बीच चुनाव करना होगा। यह निर्णय न केवल परफॉर्मेंस मेट्रिक्स बल्कि AI-संचालित बाजारों में प्रतिस्पर्धा करने की संगठनात्मक क्षमता निर्धारित करता है।

आर्किटेक्चरल अंतर डिप्लॉयमेंट जटिलता को बढ़ाते हैं

B200 पारंपरिक GPU आर्किटेक्चर का अनुसरण करता है जिसमें TSMC की 4NP प्रोसेस पर 208 बिलियन ट्रांजिस्टर निर्मित हैं।⁵ प्रत्येक चिप समान 700W थर्मल डिज़ाइन पावर (TDP) बनाए रखते हुए 20 petaflops FP4 कंप्यूट प्रदान करता है, जो H100 की परफॉर्मेंस का लगभग 2.5 गुना है।⁶ HBM3e के माध्यम से मेमोरी बैंडविड्थ 8TB/s तक पहुंचती है, जो वर्तमान पीढ़ी के डिप्लॉयमेंट को बाधित करने वाली मेमोरी बॉटलनेक को हल करती है। H100 डिप्लॉयमेंट से परिचित इंफ्रास्ट्रक्चर टीमें न्यूनतम सुविधा संशोधनों के साथ B200 में ट्रांज़िशन कर सकती हैं।

GB200 Grace CPU और Blackwell GPU को एक ही सब्सट्रेट पर संयोजित करके कंप्यूट प्रतिमान में क्रांति लाता है। CPU 72 Arm Neoverse V2 कोर लाता है जो NVLink-C2C के माध्यम से 900GB/s द्विदिशात्मक बैंडविड्थ पर GPU से जुड़ा है।⁷ यह PCIe बॉटलनेक को समाप्त करता है जो पारंपरिक रूप से CPU-GPU संचार को 64GB/s तक सीमित करता है। यह इंटीग्रेशन नए प्रोग्रामिंग मॉडल सक्षम करता है जहां CPU और GPU सुसंगत रूप से मेमोरी साझा करते हैं, उस डेटा मूवमेंट को समाप्त करते हैं जो पारंपरिक आर्किटेक्चर में कुल सिस्टम पावर का 30% तक खपत करता है।⁸

आर्किटेक्चर के बीच पावर खपत में नाटकीय अंतर है। एक B200 उस 700W एनवेलप को बनाए रखता है जिसे मौजूदा इंफ्रास्ट्रक्चर सपोर्ट करता है। GB200 Superchip संयुक्त CPU-GPU पैकेज के लिए 1,200W खपत करता है, जबकि पूर्ण GB200 NVL72 सिस्टम प्रति रैक 120kW खींचता है।⁹ संगठनों को मूल्यांकन करना होगा कि उनका पावर इंफ्रास्ट्रक्चर 208V पर 600 amps डिलीवर कर सकता है या 480V डिस्ट्रीब्यूशन में पूर्ण इलेक्ट्रिकल सिस्टम अपग्रेड की आवश्यकता है।

कूलिंग आवश्यकताएं पावर खपत पैटर्न का अनुसरण करती हैं। B200 डिप्लॉयमेंट 50kW प्रति रैक के लिए रेटेड मौजूदा रियर-डोर हीट एक्सचेंजर्स के साथ काम करते हैं। GB200 कॉन्फिगरेशन 30°C से नीचे इनलेट तापमान पर 20 लीटर प्रति मिनट कूलेंट फ्लो रेट के साथ चिप तक लिक्विड कूलिंग की मांग करते हैं।¹⁰ एयर कूलिंग के लिए डिज़ाइन की गई सुविधाओं को GB200 डिप्लॉयमेंट सपोर्ट करने के लिए प्रति मेगावाट $5-10 मिलियन रेट्रोफिट लागत का सामना करना पड़ता है।¹¹

मेमोरी आर्किटेक्चर वर्कलोड उपयुक्तता निर्धारित करता है

B200 का HBM3e कॉन्फिगरेशन प्रति GPU 192GB हाई-बैंडविड्थ मेमोरी प्रदान करता है, जो H100 की क्षमता का तीन गुना है।¹² आठ-GPU HGX B200 सिस्टम 1.5TB GPU मेमोरी प्रदान करते हैं, जो अधिकांश वर्तमान बड़े लैंग्वेज मॉडल्स के लिए पर्याप्त है। मेमोरी बैंडविड्थ प्रति GPU 8TB/s तक पहुंचती है, जो तेज़ मॉडल सर्विंग सक्षम करती है और H100 की तुलना में इन्फरेंस लेटेंसी को 40% कम करती है।¹³ यह आर्किटेक्चर पारंपरिक GPU वर्कलोड में उत्कृष्ट है: मॉडल ट्रेनिंग, बैच इन्फरेंस, और पैरेलल प्रोसेसिंग टास्क।

GB200 यूनिफाइड CPU-GPU मेमोरी स्पेस के माध्यम से मेमोरी इकोनॉमिक्स को बदल देता है। Grace CPU दोनों प्रोसेसर द्वारा 546GB/s पर एक्सेसिबल 960GB तक LPDDR5X मेमोरी का योगदान करता है।¹⁴ GPU HBM3e के साथ मिलाकर, कुल सिस्टम मेमोरी प्रति Superchip 1.1TB तक पहुंचती है। जो मॉडल GPU मेमोरी से ओवरफ्लो होते हैं वे पारंपरिक CPU-GPU ट्रांसफर के 50x परफॉर्मेंस पेनल्टी के बिना CPU मेमोरी में स्पिल कर सकते हैं। मेमोरी-कंस्ट्रेंड वर्कलोड जब CPU मेमोरी डिस्क पेजिंग रोकती है तो 7x परफॉर्मेंस सुधार देखते हैं।¹⁵

वर्कलोड विश्लेषण स्पष्ट डिप्लॉयमेंट पैटर्न प्रकट करता है। शुद्ध मॉडल ट्रेनिंग B200 कॉन्फिगरेशन का पक्ष लेती है जहां हर ट्रांजिस्टर मैट्रिक्स मल्टीप्लिकेशन पर केंद्रित है। CPU ओवरहेड की अनुपस्थिति का मतलब है 15% अधिक डाई एरिया टेंसर कोर्स को समर्पित।¹⁶ ट्रेनिंग रन तेज़ी से पूरे होते हैं और प्रति epoch कम पावर खपत करते हैं। Meta के Llama 3 ट्रेनिंग सिमुलेशन दिखाते हैं कि B200 क्लस्टर समकक्ष GB200 डिप्लॉयमेंट की तुलना में 405B पैरामीटर ट्रेनिंग 23% तेज़ी से पूरी करते हैं।¹⁷

इन्फरेंस वर्कलोड एक अलग तस्वीर पेश करते हैं। GB200 का CPU प्रीप्रोसेसिंग, टोकनाइज़ेशन, और रिज़ल्ट फ़ॉर्मेटिंग संभालता है जबकि GPU न्यूरल नेटवर्क प्रोसेस करता है। यह आर्किटेक्चर अलग CPU और GPU सर्वर के बीच डेटा मूवमेंट को समाप्त करता है, कुल इन्फरेंस लेटेंसी को 60% कम करता है।¹⁸ OpenAI रिपोर्ट करता है कि GB200 डिप्लॉयमेंट ChatGPT-स्केल मॉडल्स के लिए B200 कॉन्फिगरेशन की तुलना में 30x अधिक समवर्ती उपयोगकर्ताओं को संभालते हैं।¹⁹ CPU की उपस्थिति शुद्ध GPU सिस्टम में असंभव परिष्कृत कैशिंग रणनीतियों को सक्षम करती है।

नेटवर्क टोपोलॉजी क्लस्टर डिज़ाइन को प्रभावित करती है

B200 प्रति GPU 900GB/s बाइसेक्शन बैंडविड्थ सपोर्ट करने वाले 18 NVLink कनेक्शन के साथ NVIDIA के स्थापित नेटवर्किंग दृष्टिकोण को बनाए रखता है।²⁰ आठ-GPU HGX B200 नोड्स 400GbE या 800GbE InfiniBand के माध्यम से जुड़ते हैं, उस नेटवर्क हायरार्की को बनाए रखते हुए जिसे HPC आर्किटेक्ट समझते हैं। मौजूदा InfiniBand डिप्लॉयमेंट स्विच फ़र्मवेयर अपडेट और ऑप्टिकल मॉड्यूल रिप्लेसमेंट के माध्यम से B200 सपोर्ट करने के लिए अपग्रेड होते हैं। यह विकासात्मक पथ डिप्लॉयमेंट जोखिम को न्यूनतम करता है और प्रोडक्शन तक पहुंचने का समय तेज़ करता है।

GB200 NVL72 प्रति GPU 1.8TB/s पर पांचवीं पीढ़ी के NVLink के माध्यम से 72 Blackwell GPU को जोड़कर क्लस्टर आर्किटेक्चर में क्रांति लाता है।²¹ पूरा सिस्टम 13 petaflops कंप्यूट और 30TB सुसंगत मेमोरी के साथ एकल लॉजिकल GPU के रूप में कार्य करता है।²² पारंपरिक नेटवर्क सीमाएं विलीन हो जाती हैं क्योंकि NVLink स्विच इंट्रा-रैक संचार के लिए InfiniBand की जगह लेते हैं। इस आर्किटेक्चर के लिए पूर्ण नेटवर्क रीडिज़ाइन की आवश्यकता है लेकिन यह उन बॉटलनेक को समाप्त करता है जो डिस्ट्रीब्यूटेड ट्रेनिंग में स्ट्रॉन्ग स्केलिंग को सीमित करते हैं।

GB200 स्केल पर केबल मैनेजमेंट महत्वपूर्ण हो जाती है। प्रत्येक NVL72 रैक को पावर, नेटवर्किंग, और लिक्विड कूलिंग कनेक्शन के लिए 2,000 से अधिक केबल की आवश्यकता होती है।²³ NVIDIA का रेफरेंस डिज़ाइन 1.8TB/s स्पीड पर सिग्नल इंटीग्रिटी बनाए रखने के लिए सटीक केबल लंबाई और रूटिंग पथ निर्दिष्ट करता है। निर्दिष्ट बेंड रेडियस से विचलन बिट एरर का कारण बनता है जो लगातार रीट्रेनिंग ट्रिगर करता है, प्रभावी बैंडविड्थ को 40% तक कम करता है।²⁴ Introl की डिप्लॉयमेंट टीमें इंस्टॉलेशन समय का 40% केबल मैनेजमेंट पर खर्च करती हैं, हर कनेक्शन स्पेसिफिकेशन पूरा करता है यह सत्यापित करने के लिए ऑगमेंटेड रियलिटी सिस्टम का उपयोग करती हैं।

इंक्रीमेंटल डिप्लॉयमेंट के लिए नेटवर्क लागत विश्लेषण B200 का पक्ष लेता है। संगठन नेटवर्क इंफ्रास्ट्रक्चर बदले बिना मौजूदा क्लस्टर में B200 नोड्स जोड़ते हैं। 1,000-GPU B200 डिप्लॉयमेंट के लिए नेटवर्किंग उपकरण में $15-20 मिलियन की आवश्यकता होती है।²⁵ समकक्ष GB200 NVL72 सिस्टम को NVLink स्विच और ऑप्टिकल ट्रांसीवर्स के लिए $30-40 मिलियन की आवश्यकता होती है।²⁶ यह प्रीमियम बेहतर स्केलिंग दक्षता के माध्यम से खुद को चुकाता है, लेकिन केवल उन वर्कलोड के लिए जो पूर्ण सिस्टम का उपयोग करते हैं।

पावर इंफ्रास्ट्रक्चर व्यवहार्यता निर्धारित करता है

B200 डिप्लॉयमेंट प्रति रैक 35-50kW के लिए ऑप्टिमाइज़्ड मौजूदा पावर डिज़ाइन का लाभ उठाते हैं। स्टैंडर्ड 208V थ्री-फेज़ सर्किट मौजूदा पावर डिस्ट्रीब्यूशन यूनिट (PDU) के माध्यम से पर्याप्त करंट डिलीवर करते हैं। डेटा सेंटर 1.3 से नीचे पावर यूसेज इफेक्टिवनेस (PUE) रेशियो बनाए रखते हुए प्रति मेगावाट 6-8 रैक आवंटित करते हैं।²⁷ H100 इंफ्रास्ट्रक्चर वाली सुविधाएं इलेक्ट्रिकल अपग्रेड के बिना सरल हार्डवेयर स्वैप के माध्यम से B200 सपोर्ट करती हैं।

GB200 पावर आवश्यकताएं पारंपरिक धारणाओं को तोड़ती हैं। NVL72 की 120kW रैक मांग अधिकांश सुविधाओं की प्रति-रैक सर्किट ब्रेकर रेटिंग से अधिक है। पावर डिलीवरी के लिए 300-amp सर्किट के साथ 480V थ्री-फेज़ की आवश्यकता होती है, ऐसा इंफ्रास्ट्रक्चर जो आमतौर पर औद्योगिक मशीनरी के लिए आरक्षित होता है।²⁸ ट्रांसफॉर्मर, स्विचगियर, और डिस्ट्रीब्यूशन पैनल को पूर्ण रिप्लेसमेंट की आवश्यकता होती है। यूटिलिटी कैपेसिटी कंस्ट्रेंट पर विचार करने से पहले अपग्रेड लागत प्रति मेगावाट $2-3 मिलियन तक पहुंचती है।²⁹

GB200 डिप्लॉयमेंट के लिए यूटिलिटी समन्वय महत्वपूर्ण हो जाता है। एक मामूली 100-रैक GB200 इंस्टॉलेशन लगातार 12MW खपत करता है, जो 10,000 घरों के बराबर है।³⁰ पावर कंपनियों को ट्रांसमिशन अपग्रेड के लिए 18-24 महीने का लीड टाइम चाहिए। सिंगापुर का डेटा सेंटर मोरेटोरियम आंशिक रूप से GB200 पावर मांगों से उपजा है जो राष्ट्रीय बिजली उत्पादन का 5% खपत करेगी।³¹ Introl इंफ्रास्ट्रक्चर डिज़ाइन शुरू होने से पहले पावर आवंटन सुरक्षित करने के लिए हमारे APAC कवरेज एरिया में यूटिलिटी कंपनियों के साथ काम करता है।

बैकअप पावर सिस्टम अभूतपूर्व चुनौतियों का सामना करते हैं। 15-मिनट रनटाइम के लिए साइज़्ड पारंपरिक अनइंटरप्टिबल पावर सप्लाई (UPS) प्रति रैक 120kW पर अव्यावहारिक हो जाती हैं। बैटरी रूम उस कंप्यूट इंफ्रास्ट्रक्चर से अधिक स्थान लेंगे जिसकी वे रक्षा करते हैं। आधुनिक GB200 डिप्लॉयमेंट जनरेटर स्टार्ट के लिए 30-सेकंड बैटरी ब्रिज के साथ ग्रिड-इंटरैक्टिव इनवर्टर का उपयोग करते हैं, नाटकीय स्थान और लागत बचत के लिए उच्च जोखिम स्वीकार करते हैं।³² इस दृष्टिकोण के लिए 100% लोड स्टेप्स स्वीकार करने में सक्षम जनरेटर की आवश्यकता होती है, ऐसी तकनीक जो पांच साल पहले मौजूद नहीं थी।

कूलिंग आर्किटेक्चर डिप्लॉयमेंट विकल्पों को परिभाषित करता है

B200 कूलिंग विभिन्न दृष्टिकोणों के लिए लचीलेपन के साथ स्थापित पैटर्न का अनुसरण करती है। प्रति रैक 35kW से कम लो-डेंसिटी डिप्लॉयमेंट के लिए एयर कूलिंग व्यवहार्य रहती है। रियर-डोर हीट एक्सचेंजर्स कोल्ड आइल तापमान 25°C से नीचे बनाए रखते हुए 50kW कॉन्फिगरेशन संभालते हैं।³³ कोल्ड प्लेट्स तक डायरेक्ट लिक्विड कूलिंग कूलेंट डिस्ट्रीब्यूशन मैनेज करने को तैयार संगठनों के लिए 70kW डेंसिटी सक्षम करती है। यह लचीलापन डेंसिटी आवश्यकताओं के बढ़ने पर धीरे-धीरे इंफ्रास्ट्रक्चर विकास की अनुमति देता है।

GB200 अधिकतम परफॉर्मेंस के पक्ष में कूलिंग लचीलापन समाप्त करता है। NVIDIA का रेफरेंस डिज़ाइन सख्त स्पेसिफिकेशन के साथ डायरेक्ट लिक्विड कूलिंग अनिवार्य करता है: 25°C इनलेट तापमान, 20 लीटर प्रति मिनट फ्लो रेट, और कोल्ड प्लेट पर 10°C से कम डेल्टा T।³⁴ विचलन थर्मल थ्रॉटलिंग ट्रिगर करते हैं जो परफॉर्मेंस को 50% तक कम करता है। कूलिंग सिस्टम कंप्यूट हार्डवेयर जितना ही महत्वपूर्ण हो जाता है।

कूलेंट चयन दीर्घकालिक संचालन को प्रभावित करता है। B200 डिप्लॉयमेंट आमतौर पर मौजूदा बिल्डिंग सिस्टम का लाभ उठाते हुए जंग अवरोधकों के साथ सुविधा जल का उपयोग करते हैं। GB200 के लिए 4.0 kJ/kg·K से ऊपर स्पेसिफिक हीट कैपेसिटी और 1 MΩ·cm से अधिक इलेक्ट्रिकल रेज़िस्टिविटी वाले इंजीनियर्ड फ्लूइड्स की आवश्यकता होती है।³⁵ इन फ्लूइड्स की लागत $200-300 प्रति गैलन है और गुणों को बनाए रखने के लिए तिमाही परीक्षण की आवश्यकता होती है।³⁶ एक लीकिंग फिटिंग से कंटेमिनेशन के लिए $500,000 की लागत पर पूर्ण सिस्टम फ्लश और रीफिल की आवश्यकता हो सकती है।

हीट रिजेक्शन भौगोलिक व्यवहार्यता निर्धारित करती है। B200 की मध्यम हीट डेंसिटी अधिकांश जलवायु में पारंपरिक कूलिंग टावर्स के साथ काम करती है। GB200 की अत्यधिक डेंसिटी के लिए सैद्धांतिक सीमाओं के करीब उन्नत हीट रिजेक्शन की आवश्यकता होती है। गर्म जलवायु वाली सुविधाओं को इवेपोरेटिव असिस्ट के साथ हाइब्रिड कूलिंग टावर्स की आवश्यकता होती है, जो प्रति रैक प्रति मिनट 2-3 गैलन पानी खपत करते हैं।³⁷ जब पानी की लागत बिजली लागत से अधिक होती है तो रेगिस्तानी डिप्लॉयमेंट आर्थिक रूप से अव्यवहार्य हो जाते हैं। उत्तरी यूरोपीय स्थान फ्री कूलिंग के माध्यम से प्रतिस्पर्धात्मक लाभ प्राप्त करते हैं जो GB200 परिचालन लागत को 30% कम करती है।³⁸

कुल स्वामित्व लागत आश्चर्यजनक अर्थशास्त्र प्रकट करती है

पूंजीगत व्यय तुलना महत्वपूर्ण रूप से B200 का पक्ष लेती है। GPU i

[अनुवाद के लिए सामग्री छोटी की गई]