NVMe-oF इम्प्लीमेंटेशन: 100,000 GPU डिप्लॉयमेंट के लिए स्टोरेज डिसएग्रीगेशन

अपडेटेड 8 दिसंबर, 2025

दिसंबर 2025 अपडेट: PCIe Gen5 ड्राइव्स द्वारा 14GB/s डिलीवरी और 400GbE फैब्रिक्स के स्टैंडर्ड बनने के साथ NVMe-oF अडॉप्शन तेजी से बढ़ रहा है। NVMe 2.0 स्पेसिफिकेशन बेहतर मल्टी-पाथ और zoned namespace सपोर्ट के साथ फाइनल हो गया है। NVIDIA BlueField-3 DPUs 400Gb/s थ्रूपुट के साथ हार्डवेयर-एक्सेलरेटेड NVMe-oF इनेबल कर रहे हैं। कम्प्यूटेशनल स्टोरेज GPU ट्रांसफर से पहले डेटा प्रीप्रोसेसिंग के लिए उभर रहा है, जो विशिष्ट वर्कलोड के लिए बैंडविड्थ रिक्वायरमेंट्स को 40-60% कम कर रहा है।

ByteDance का रिकमेंडेशन इंजन 12 डेटा सेंटर्स में 100,000 GPUs पर फैला हुआ है, फिर भी NVMe over Fabric टेक्नोलॉजी के माध्यम से 94% स्टोरेज यूटिलाइजेशन हासिल करता है जो 85 पेटाबाइट्स फ्लैश स्टोरेज को एक सिंगल लॉजिकल namespace में पूल करता है, जो किसी भी GPU द्वारा 180GB/s थ्रूपुट और 5 माइक्रोसेकंड लेटेंसी पर एक्सेस किया जा सकता है।¹ इस चीनी टेक दिग्गज ने पहले प्रत्येक GPU सर्वर को फिक्स्ड स्टोरेज अलॉट किया था, जिसके परिणामस्वरूप 40% आइडल कैपेसिटी थी जबकि अन्य नोड्स स्पेस के लिए तरस रहे थे। उनका NVMe-oF आर्किटेक्चर अब डायनामिकली स्टोरेज ब्लॉक्स को ऑन-डिमांड GPUs को असाइन करता है, रिडंडेंट SSD खरीद में $42 मिलियन की बचत करते हुए ऑप्टिमाइज्ड डेटा प्लेसमेंट के माध्यम से मॉडल ट्रेनिंग स्पीड को 2.3x बेहतर करता है। ट्रेडिशनल डायरेक्ट-अटैच्ड स्टोरेज आर्किटेक्चर हाइपरस्केल पर कोलैप्स हो जाते हैं—जब 100,000 GPUs मैनेज करने की बात आती है, कम्प्यूट से स्टोरेज को डिसएग्रीगेट करने की क्षमता लीनियर स्केलिंग और एक्सपोनेंशियल कॉम्प्लेक्सिटी के बीच का अंतर बन जाती है।

NVMe over Fabric NVMe प्रोटोकॉल को नेटवर्क फैब्रिक्स पर एक्सटेंड करता है, निअर-लोकल परफॉर्मेंस के साथ रिमोट स्टोरेज एक्सेस इनेबल करता है। NVMe-oF इम्प्लीमेंट करने वाले ऑर्गनाइजेशन्स डायरेक्ट-अटैच्ड कॉन्फ़िगरेशन के 50-60% की तुलना में 85-95% स्टोरेज यूटिलाइजेशन रिपोर्ट करते हैं, जबकि 10 माइक्रोसेकंड से कम लेटेंसी मेंटेन करते हैं।² टेक्नोलॉजी RDMA over Converged Ethernet (RoCE), InfiniBand, Fibre Channel, और TCP सहित मल्टीपल ट्रांसपोर्ट प्रोटोकॉल सपोर्ट करती है, जिसमें Ethernet की सर्वव्यापकता के कारण RoCE डिप्लॉयमेंट्स AI इंफ्रास्ट्रक्चर में डॉमिनेट करते हैं। डिसएग्रीगेटेड स्टोरेज आर्किटेक्चर बेहतर यूटिलाइजेशन के माध्यम से कैपिटल एक्सपेंडिचर को 35-45% कम करते हैं, कम्प्यूट और स्टोरेज रिसोर्सेज की इंडिपेंडेंट स्केलिंग इनेबल करते हैं, और ट्रेडिशनल आर्किटेक्चर्स के साथ असंभव ऑपरेशनल फ्लेक्सिबिलिटी प्रदान करते हैं।

NVMe-oF प्रोटोकॉल फंडामेंटल्स

NVMe over Fabric NVMe प्रोटोकॉल की एफिशिएंसी को प्रिजर्व करता है जबकि इसे नेटवर्क ट्रांसपोर्ट्स पर एक्सटेंड करता है। प्रोटोकॉल NVMe के स्ट्रीमलाइंड कमांड सेट, पैरेलल क्यू आर्किटेक्चर, और इंटरप्ट-ड्रिवन मॉडल को मेंटेन करता है जबकि नेटवर्क ट्रांसपोर्ट के लिए मिनिमल ओवरहेड जोड़ता है। एक टिपिकल NVMe-oF ट्रांजैक्शन लोकल NVMe की तुलना में केवल 2-8 माइक्रोसेकंड लेटेंसी जोड़ता है, प्रॉपरली कॉन्फ़िगर्ड नेटवर्क्स पर लोकल SSD परफॉर्मेंस का 95% अचीव करता है।³

ट्रांसपोर्ट ऑप्शन्स परफॉर्मेंस कैरेक्टरिस्टिक्स और डिप्लॉयमेंट कॉम्प्लेक्सिटी निर्धारित करते हैं:

NVMe over RoCE v2 Ethernet इंफ्रास्ट्रक्चर रियूज के कारण एंटरप्राइज डिप्लॉयमेंट्स में डॉमिनेट करता है। RoCE (RDMA over Converged Ethernet) कर्नेल बाइपास और जीरो-कॉपी ट्रांसफर प्रदान करता है, सब-5 माइक्रोसेकंड लेटेंसी अचीव करता है। Priority Flow Control का उपयोग करके लॉसलेस Ethernet कॉन्फ़िगरेशन पैकेट ड्रॉप्स को रोकता है। स्टैंडर्ड Ethernet स्विचेज उचित फर्मवेयर के साथ RoCE सपोर्ट करते हैं। डिप्लॉयमेंट में कंजेशन को रोकने के लिए सावधानीपूर्वक Quality of Service ट्यूनिंग की आवश्यकता होती है।

NVMe over InfiniBand 2-3 माइक्रोसेकंड पर सबसे कम लेटेंसी डिलीवर करता है लेकिन स्पेशलाइज्ड इंफ्रास्ट्रक्चर की आवश्यकता होती है। InfiniBand का क्रेडिट-बेस्ड फ्लो कंट्रोल PFC कॉम्प्लेक्सिटी के बिना लॉसलेस डिलीवरी गारंटी करता है। बिल्ट-इन कंजेशन मैनेजमेंट लोड के तहत परफॉर्मेंस डिग्रेडेशन को रोकता है। हायर कॉस्ट परफॉर्मेंस-क्रिटिकल डिप्लॉयमेंट्स तक अडॉप्शन को लिमिट करती है। GPU Direct Storage के लिए नेटिव सपोर्ट थ्रूपुट को मैक्सिमाइज करता है।

NVMe over TCP स्टैंडर्ड TCP/IP नेटवर्किंग का उपयोग करके मैक्सिमम कम्पैटिबिलिटी प्रदान करता है। सॉफ्टवेयर-ओनली इम्प्लीमेंटेशन के लिए किसी स्पेशल हार्डवेयर की आवश्यकता नहीं होती। नेटवर्क कंडीशन्स के आधार पर लेटेंसी 15-50 माइक्रोसेकंड रेंज में होती है। TCP का कंजेशन कंट्रोल और रीट्रांसमिशन ओवरहेड जोड़ता है। कैपेसिटी-ओरिएंटेड स्टोरेज टियर्स के लिए उपयुक्त जहां परफॉर्मेंस से ज्यादा कॉस्ट मैटर करती है।

NVMe over Fibre Channel एंटरप्राइज एनवायरनमेंट्स में मौजूदा SAN इंफ्रास्ट्रक्चर का लाभ उठाता है। FC की लॉसलेस डिलीवरी और जोनिंग स्टोरेज आइसोलेशन प्रदान करती है। लेटेंसी आमतौर पर 10-20 माइक्रोसेकंड मापी जाती है। वर्तमान में 32Gbps तक लिमिटेड जबकि Ethernet 400Gbps तक पहुंचता है। मुख्य रूप से लेगेसी FC एनवायरनमेंट्स को NVMe में ट्रांजिशन करने के लिए उपयोग किया जाता है।

100,000 GPU स्केल के लिए आर्किटेक्चर डिजाइन

NVMe-oF को 100,000 GPUs तक स्केल करने के लिए मल्टीपल एग्रीगेशन लेयर्स के साथ हायरार्किकल आर्किटेक्चर की आवश्यकता होती है:

Leaf-Spine Storage Fabric: स्टोरेज नोड्स 100-200GbE पर लीफ स्विचेज से कनेक्ट होते हैं। प्रत्येक लीफ 2:1 ओवरसब्सक्रिप्शन के साथ 32-48 स्टोरेज नोड्स हैंडल करता है। स्पाइन स्विचेज 400-800GbE लिंक्स का उपयोग करके लीव्स को इंटरकनेक्ट करते हैं। नॉन-ब्लॉकिंग स्पाइन लेयर लीव्स के बीच कंजेशन को रोकती है। टिपिकल डिप्लॉयमेंट रिडंडेंसी और बैंडविड्थ के लिए 4-8 स्पाइन्स का उपयोग करता है।

Pod-Based Scaling: मैनेजेबल डोमेन्स के लिए इंफ्रास्ट्रक्चर को 1,000-2,000 GPU पॉड्स में ऑर्गनाइज करें। प्रत्येक पॉड में 20-40 स्टोरेज नोड्स के साथ डेडिकेटेड स्टोरेज फैब्रिक होता है। इंटर-पॉड कनेक्शन्स हाई-स्पीड DCI (Data Center Interconnect) लिंक्स का उपयोग करते हैं। पॉड्स दूसरों को प्रभावित किए बिना इंडिपेंडेंटली स्केल होते हैं। फेलियर डोमेन्स आउटेज के ब्लास्ट रेडियस को लिमिट करते हैं।

Storage Node Configuration: प्रति नोड 24-36 NVMe ड्राइव्स के साथ ड्यूअल-सॉकेट सर्वर्स। रिडंडेंट फैब्रिक कनेक्टिविटी के लिए 200GbE ड्यूअल-पोर्ट NICs। मेटाडेटा कैशिंग और बफर्स के लिए 512GB-1TB RAM। NVMe-oF प्रोसेसिंग के लिए हार्डवेयर ऑफलोड कैपेबिलिटीज। ड्राइव पूल्स मैनेज करने वाली सॉफ्टवेयर-डिफाइंड स्टोरेज लेयर।

Namespace Architecture: ग्लोबल namespace सभी नोड्स पर यूनिफाइड स्टोरेज व्यू प्रदान करता है। सब-namespaces टेनेंट या एप्लिकेशन डेटा को आइसोलेट करते हैं। डिसरप्शन के बिना डायनामिक namespace क्रिएशन/डिलीशन। थिन प्रोविजनिंग कैपेसिटी वेस्ट को रोकता है। Namespace शेयरिंग कोलैबोरेटिव वर्कफ्लोज इनेबल करती है।

ByteDance स्केल पर रियल-वर्ल्ड डिप्लॉयमेंट: - प्रत्येक में 8,000-10,000 GPUs के साथ 12 डेटा सेंटर्स - 85PB यूजेबल कैपेसिटी प्रदान करने वाले 2,500 स्टोरेज नोड्स - 400GbE स्पाइन्स के साथ 3-टियर Clos नेटवर्क - प्रति रैक 180GB/s एग्रीगेट थ्रूपुट - 5 माइक्रोसेकंड एवरेज लेटेंसी - 94% स्टोरेज यूटिलाइजेशन अचीव्ड

इम्प्लीमेंटेशन बेस्ट प्रैक्टिसेज

सक्सेसफुल NVMe-oF डिप्लॉयमेंट्स एस्टैब्लिश्ड पैटर्न्स फॉलो करते हैं:

Network Configuration Excellence: एफिशिएंसी के लिए एंड-टू-एंड जंबो फ्रेम्स (9000 MTU) इनेबल करें। लॉसलेस डिलीवरी के लिए सभी स्विच पोर्ट्स पर Priority Flow Control (PFC) कॉन्फ़िगर करें। बैंडविड्थ एलोकेशन के लिए Enhanced Transmission Selection (ETS) इम्प्लीमेंट करें। यूनिफाइड कॉन्फ़िगरेशन के लिए Data Center Bridging (DCB) डिप्लॉय करें। कंजेशन डिटेक्ट करने के लिए PFC पॉज फ्रेम स्टैटिस्टिक्स मॉनिटर करें। VLANs या ओवरले नेटवर्क्स का उपयोग करके स्टोरेज ट्रैफिक को सेपरेट करें।

Quality of Service Optimization: स्टोरेज ट्रैफिक को हाईएस्ट प्रायोरिटी क्लास असाइन करें। स्टोरेज फ्लोज के लिए 40% मिनिमम बैंडविड्थ रिजर्व करें। ट्रैफिक क्लासेज के लिए वेटेड फेयर क्यूइंग कॉन्फ़िगर करें। सिंगल फ्लोज को डॉमिनेट होने से रोकने के लिए रेट लिमिटिंग इम्प्लीमेंट करें। ड्रॉप्स को रोकने के लिए बफर यूटिलाइजेशन मॉनिटर करें। वर्कलोड पैटर्न्स के आधार पर QoS पैरामीटर्स एडजस्ट करें।

Redundancy and High Availability: ड्यूअल-होम्ड स्टोरेज नोड्स को अलग स्विचेज पर डिप्लॉय करें। एक्टिव-एक्टिव पाथ्स के साथ मल्टीपाथ I/O इम्प्लीमेंट करें। 50ms या उससे कम में ऑटोमैटिक पाथ फेलओवर कॉन्फ़िगर करें। डेटा डिस्ट्रीब्यूशन के लिए कंसिस्टेंट हैशिंग का उपयोग करें। ड्यूरेबिलिटी के लिए 3-वे रेप्लिकेशन या इरेजर कोडिंग मेंटेन करें। कंपोनेंट लेवल पर N+2 रिडंडेंसी के लिए डिजाइन करें।

Security Implementation: ट्रांजिट में एन्क्रिप्शन के लिए IPsec या TLS इनेबल करें। आइसोलेशन के लिए जोन-बेस्ड एक्सेस कंट्रोल इम्प्लीमेंट करें। NVMe-oF कनेक्शन्स के लिए ऑथेंटिकेशन कीज का उपयोग करें। लेटरल मूवमेंट को लिमिट करने के लिए माइक्रोसेगमेंटेशन डिप्लॉय करें। कंप्लायंस के लिए सभी स्टोरेज एक्सेस को ऑडिट करें। वल्नरेबिलिटीज के लिए रेगुलर सिक्योरिटी स्कैनिंग।

Introl हमारे ग्लोबल कवरेज एरिया में हाइपरस्केल AI इंफ्रास्ट्रक्चर के लिए NVMe-oF आर्किटेक्चर्स डिजाइन और डिप्लॉय करता है, जिसमें 100,000 GPUs तक सपोर्ट करने वाले डिसएग्रीगेटेड स्टोरेज सिस्टम्स मैनेज करने में प्रोवन एक्सपर्टीज है।⁴ हमारी टीम्स ने 1PB से 100PB स्केल तक 50 से अधिक NVMe-oF डिप्लॉयमेंट्स इम्प्लीमेंट किए हैं।

परफॉर्मेंस ऑप्टिमाइजेशन टेक्निक्स

मैक्सिमम NVMe-oF परफॉर्मेंस अचीव करने के लिए सिस्टेमैटिक ऑप्टिमाइजेशन की आवश्यकता होती है:

CPU and Interrupt Tuning: स्केड्यूलर ओवरहेड से बचते हुए NVMe-oF इंटरप्ट्स को डेडिकेटेड CPU कोर्स पर पिन करें। कंसिस्टेंट परफॉर्मेंस के लिए CPU फ्रीक्वेंसी स्केलिंग डिसेबल करें। लोकल मेमोरी एक्सेस के लिए NUMA अफिनिटी कॉन्फ़िगर करें। CPU यूसेज कम करने के लिए इंटरप्ट कोलेसिंग बढ़ाएं। डायनामिक ऑप्टिमाइजेशन के लिए एडेप्टिव इंटरप्ट मॉडरेशन इनेबल करें। बॉटलनेक्स आइडेंटिफाई करने के लिए CPU यूटिलाइजेशन मॉनिटर करें।

Memory and Buffer Management: TLB मिसेस को कम करते हुए NVMe-oF बफर्स के लिए ह्यूज पेजेस एलोकेट करें। हाई-थ्रूपुट वर्कलोड्स के लिए कर्नेल मेमोरी सेटिंग्स ट्यून करें। नेटवर्क स्टैक के लिए उचित सॉकेट बफर साइजेस कॉन्फ़िगर करें। एलोकेशन ओवरहेड कम करने के लिए मेमोरी पूलिंग इम्प्लीमेंट करें। मेमोरी बैंडविड्थ यूटिलाइजेशन मॉनिटर करें। सावधानीपूर्वक एलोकेशन के माध्यम से मेमोरी फ्रैगमेंटेशन रोकें।

Storage Stack Optimization: एफिशिएंसी के लिए I/O साइजेस को SSD पेज बाउंड्रीज के साथ अलाइन करें। प्रति कनेक्शन 256-1024 के बीच क्यू डेप्थ्स कॉन्फ़िगर करें। कम लेटेंसी के लिए कंट्रोलर मेमोरी बफर्स (CMB) इनेबल करें। NVMe कैरेक्टरिस्टिक्स के लिए ऑप्टिमाइज्ड I/O शेड्यूलिंग इम्प्लीमेंट करें। जर्नलिंग जैसी अनावश्यक फीचर्स डिसेबल करें। SSD वेयर लेवलिंग और गारबेज कलेक्शन मॉनिटर करें।

Workload Placement Intelligence: हॉट डेटा को कम्प्यूट के पास रखने वाले डेटा लोकैलिटी एल्गोरिदम इम्प्लीमेंट करें। प्रेडिक्टेबल डेटा डिस्ट्रीब्यूशन के लिए कंसिस्टेंट हैशिंग का उपयोग करें। स्टोरेज नोड्स पर कैपेसिटी और परफॉर्मेंस बैलेंस करें। एक्सेस पैटर्न्स के आधार पर डेटा माइग्रेट करें। फ्रीक्वेंटली एक्सेस्ड डेटा को फास्टर टियर्स में कैश करें। ML मॉडल्स का उपयोग करके फ्यूचर एक्सेस पैटर्न्स प्रेडिक्ट करें।

प्रोडक्शन डिप्लॉयमेंट्स से परफॉर्मेंस मेट्रिक्स: - 4KB रैंडम रीड: प्रति स्टोरेज नोड 15 मिलियन IOPS - 128KB सीक्वेंशियल रीड: प्रति स्टोरेज नोड 180GB/s - एवरेज लेटेंसी: RoCE पर 5-7 माइक्रोसेकंड - टेल लेटेंसी (p99.9): 25 माइक्रोसेकंड - CPU ओवरहेड: सैचुरेटेड वर्कलोड्स के लिए 8-12%

कॉमन इश्यूज का ट्रबलशूटिंग

NVMe-oF डिप्लॉयमेंट्स में कैरेक्टरिस्टिक चैलेंजेस होते हैं जिनके लिए स्पेसिफिक सॉल्यूशन्स की आवश्यकता होती है:

High Latency Spikes: सिम्पटम: 5μs से 500μs तक पीरियोडिक लेटेंसी इंक्रीज कॉजेस: PFC स्टॉर्म्स, बफर एग्जॉशन, TCP रीट्रांसमिशन्स सॉल्यूशन्स: PFC थ्रेशोल्ड्स ट्यून करें, स्विच बफर्स बढ़ाएं, स्टोरेज ट्रैफिक आइसोलेट करें मॉनिटरिंग: पॉज फ्रेम ड्यूरेशन और फ्रीक्वेंसी ट्रैक करें

Throughput Degradation: सिम्पटम: परफॉर्मेंस 180GB/s से 50GB/s तक ड्रॉप कॉजेस: नेटवर्क कंजेशन, SSD थर्मल थ्रॉटलिंग, CPU बॉटलनेक्स सॉल्यूशन्स: ट्रैफिक शेपिंग इम्प्लीमेंट करें, कूलिंग इम्प्रूव करें, स्टोरेज नोड्स स्केल आउट करें मॉनिटरिंग: प्रति-लिंक यूटिलाइजेशन और SSD टेम्परेचर्स मेजर करें

Connection Failures: सिम्पटम: NVMe-oF कनेक्शन्स रैंडमली ड्रॉपिंग कॉजेस: ऑथेंटिकेशन इश्यूज, नेटवर्क फ्लैप्स, ड्राइवर बग्स सॉल्यूशन्स: क्रेडेंशियल्स वेरिफाई करें, केबल/ऑप्टिक्स चेक करें, ड्राइवर्स/फर्मवेयर अपडेट करें मॉनिटरिंग: कनेक्शन स्टेट चेंजेस और एरर काउंटर्स लॉग करें

Capacity Imbalances: सिम्पटम: कुछ नोड्स 95% कैपेसिटी पर जबकि अन्य 40% पर कॉजेस: पुअर डेटा प्लेसमेंट, वर्कलोड स्क्यू, फेल्ड रीबैलेंसिंग सॉल्यूशन्स: बेटर हैशिंग इम्प्लीमेंट करें, डेटा एक्टिवली माइग्रेट करें, ऑटोमेशन फिक्स करें मॉनिटरिंग: प्रति-नोड कैपेसिटी और IOPS डिस्ट्रीब्यूशन ट्रैक करें

रियल-वर्ल्ड डिप्लॉयमेंट केस स्टडीज

Meta - Training Infrastructure Modernization: - चैलेंज: 60% स्टोरेज यूटिलाइजेशन के साथ 50,000 GPUs - सॉल्यूशन: 40PB डिसएग्रीगेटेड स्टोरेज के साथ NVMe-oF डिप्लॉयमेंट - आर्किटेक्चर: 200GbE Ethernet फैब्रिक पर RoCE v2 - रिजल्ट्स: 90% यूटिलाइजेशन, 2.1x फास्टर मॉडल ट्रेनिंग - इन्वेस्टमेंट: स्टोरेज प्रोक्योरमेंट में $45 मिलियन सेव्ड - की इनोवेशन: एक्सेस पैटर्न्स का उपयोग करके प्रेडिक्टिव डेटा प्लेसमेंट

Financial Services Firm - Tick Data Analysis: - स्केल: 10TB/दिन मार्केट डेटा प्रोसेस करने वाले 5,000 GPUs - स्टोरेज: सब-मिलीसेकंड एक्सेस के साथ 5PB NVMe-oF पूल - नेटवर्क: डिटरमिनिस्टिक लेटेंसी के लिए InfiniBand फैब्रिक - परफॉर्मेंस: 3 माइक्रोसेकंड एवरेज लेटेंसी अचीव्ड - बेनिफिट: 20-वर्षीय हिस्टोरिकल डेटा का रियल-टाइम एनालिसिस - आर्किटेक्चर: NVMe और Optane PMem के साथ टियर्ड स्टोरेज

Autonomous Vehicle Company - Simulation Platform: - डेटासेट: 100PB ड्राइविंग फुटेज और सेंसर डेटा - इंफ्रास्ट्रक्चर: सेंट्रलाइज्ड स्टोरेज के साथ 8,000 GPUs - टेक्नोलॉजी: कॉस्ट ऑप्टिमाइजेशन के लिए NVMe-oF over TCP - थ्रूपुट: 500GB/s एग्री

[ट्रांसलेशन के लिए कंटेंट ट्रंकेटेड]