HBM का विकास: HBM3 से HBM4 तक और AI मेमोरी युद्ध

अपडेट 11 दिसंबर, 2025

दिसंबर 2025 अपडेट: SK Hynix Q2 2025 में 62% हिस्सेदारी के साथ HBM में अग्रणी, Micron (21%) और Samsung (17%) से आगे। वैश्विक HBM बाजार $38 बिलियन (2025) से $58 बिलियन (2026) तक बढ़ रहा है। JEDEC ने अप्रैल 2025 में आधिकारिक HBM4 विनिर्देश जारी किया, इंटरफेस चौड़ाई को दोगुना करके 2,048 बिट्स किया और प्रति स्टैक 2 टेराबाइट्स प्रति सेकंड बैंडविड्थ सक्षम की। SK Hynix इतिहास में पहली बार Samsung को पीछे छोड़कर दुनिया का सबसे बड़ा DRAM निर्माता बना।

SK Hynix Q2 2025 में 62% हिस्सेदारी के साथ HBM बाजार का नेतृत्व करता है, इसके बाद Micron 21% और Samsung 17% पर है।¹ वैश्विक HBM बाजार 2025 में $38 बिलियन से बढ़कर 2026 में $58 बिलियन हो जाएगा।² JEDEC ने अप्रैल 2025 में आधिकारिक HBM4 विनिर्देश जारी किया, इंटरफेस चौड़ाई को दोगुना करके 2,048 बिट्स किया और प्रति स्टैक 2 टेराबाइट्स प्रति सेकंड बैंडविड्थ सक्षम की।³ High Bandwidth Memory AI एक्सेलरेटर प्रदर्शन की सीमा निर्धारित करती है—वह मेमोरी दीवार जो तय करती है कि एक मॉडल कितना बड़ा हो सकता है और कितनी तेजी से चल सकता है।

HBM पीढ़ियां एक विनिर्माण और पैकेजिंग विजय का प्रतिनिधित्व करती हैं। through-silicon vias (TSVs) के साथ DRAM डाई को लंबवत स्टैक करना और उन्हें interposer के माध्यम से GPU या एक्सेलरेटर डाई से जोड़ना पारंपरिक DRAM पैकेजिंग के साथ असंभव मेमोरी बैंडविड्थ बनाता है। प्रत्येक पीढ़ी क्षमता, बैंडविड्थ और स्टैक ऊंचाई बढ़ाती है जबकि विक्रेता यील्ड, योग्यता गति और ग्राहक संबंधों पर प्रतिस्पर्धा करते हैं। इस प्रतिस्पर्धा ने मेमोरी उद्योग को नया आकार दिया, SK Hynix इतिहास में पहली बार Samsung को पीछे छोड़कर दुनिया का सबसे बड़ा DRAM निर्माता बना।

HBM3: वर्तमान AI की नींव

HBM3, 2022 में पेश किया गया, ने मेमोरी बैंडविड्थ क्षमताएं स्थापित कीं जिसने वर्तमान AI उछाल को सक्षम किया।⁴ आर्किटेक्चर ने HBM2e की तुलना में चैनल गिनती को 8 से 16 तक दोगुना कर दिया, जबकि डेटा दरें 6.4 गीगाबिट्स प्रति सेकंड तक पहुंच गईं।⁵

6.4 गीगाबिट्स प्रति सेकंड पर चलने वाले इंटरफेस के माध्यम से प्रोसेसर से जुड़े चार HBM3 स्टैक 3.2 टेराबाइट्स प्रति सेकंड से अधिक की कुल बैंडविड्थ प्रदान करते हैं।⁶ व्यक्तिगत स्टैक बैंडविड्थ 8 GT/s 1024-बिट बस के साथ लगभग 819 गीगाबाइट्स प्रति सेकंड तक पहुंचती है।⁷

HBM3 32 गीगाबिट क्षमता वाले DRAM डाई के 16-हाई स्टैक का समर्थन करता है।⁸ स्टैकिंग क्षमता डाई घनत्व और स्टैक ऊंचाई के आधार पर प्रति स्टैक 24-36 गीगाबाइट्स तक पहुंचने वाली मेमोरी क्षमता को सक्षम करती है।⁹

3D स्टैकिंग आर्किटेक्चर छोटे सिग्नल पथों और एक साथ कई डाई तक समानांतर पहुंच के माध्यम से पारंपरिक DRAM की तुलना में विलंबता को कम करता है।¹⁰ बैंडविड्थ, क्षमता और विलंबता सुधारों के संयोजन ने HBM3 को वह मेमोरी तकनीक बनाया जिसने बड़े पैमाने पर transformer-आधारित large language models को सक्षम किया।

NVIDIA के H100 GPU ने HBM3 का उपयोग किया, प्रदर्शन बेसलाइन स्थापित की जिसे प्रतिस्पर्धियों ने लक्षित किया। मेमोरी बैंडविड्थ ने tensor core उपयोग दरों को सक्षम किया जिसने पिछली पीढ़ियों की तुलना में H100 के मूल्य प्रीमियम को उचित ठहराया।

HBM3E: सीमाओं को आगे बढ़ाना

प्रमुख DRAM निर्माताओं ने HBM3E उपकरण पेश किए जो डेटा दरों को 9.6 गीगाबिट्स प्रति सेकंड तक ले गए—HBM3 से 50% तेज।¹¹ बैंडविड्थ सुधार ने प्रति स्टैक लगभग 1.2 टेराबाइट्स प्रति सेकंड सक्षम किया, 1024-बिट इंटरफेस की व्यावहारिक सीमाओं के करीब पहुंच गया।¹²

SK Hynix 12-हाई डाई स्टैक के साथ बड़े पैमाने पर उत्पादन में अग्रणी है जो 1.2+ टेराबाइट्स प्रति सेकंड बैंडविड्थ प्रदान करता है जबकि HBM3 कंट्रोलर्स के साथ पिछड़ा संगत रहता है।¹³ पिछड़ी संगतता ने उत्पाद पीढ़ियों के बीच मेमोरी विनिर्देशों को अपडेट करने वाले एक्सेलरेटर विक्रेताओं के लिए अपनाना सरल बनाया।

Micron ने 9.6 गीगाबिट्स प्रति सेकंड प्रति पिन प्रोसेसिंग स्पीड, 24 गीगाबाइट्स प्रति 8-हाई क्यूब, और 1.2 टेराबाइट्स प्रति सेकंड पर डेटा ट्रांसफर के साथ HBM3E मेमोरी की घोषणा की।¹⁴ मौजूदा इंटरफेस चौड़ाई बनाए रखते हुए प्रति स्टैक क्षमता बढ़ी।

Cadence ने नाममात्र वोल्टेज पर 12.4 गीगाबिट्स प्रति सेकंड पर चलने वाले HBM3E मेमोरी सबसिस्टम का प्रदर्शन किया, प्रोडक्शन PHY 10.4 गीगाबिट्स प्रति सेकंड तक DRAM स्पीड का समर्थन करता है—प्रति डिवाइस 1.33 टेराबाइट्स प्रति सेकंड।¹⁵ प्रदर्शन ने HBM3E विनिर्देश के भीतर और भी उच्च गति के लिए हेडरूम दिखाया।

NVIDIA के H200 और प्रारंभिक Blackwell उत्पाद HBM3E का उपयोग करते हैं। H200 ने H100 के 80 गीगाबाइट्स की तुलना में मेमोरी क्षमता को 141 गीगाबाइट्स तक बढ़ाया जबकि बैंडविड्थ को आनुपातिक रूप से बढ़ाया। Blackwell B200 ने 8 टेराबाइट्स प्रति सेकंड कुल बैंडविड्थ पर 192 गीगाबाइट्स HBM3E तक पहुंच बनाई।

HBM3 से HBM3E में संक्रमण ने मौजूदा आर्किटेक्चर से अतिरिक्त प्रदर्शन निकालने की मेमोरी उद्योग की क्षमता का प्रदर्शन किया। हालांकि, आगे के लाभों के लिए आर्किटेक्चरल परिवर्तनों की आवश्यकता है जो HBM4 पेश करता है।

HBM4: अगली पीढ़ी

JEDEC ने अप्रैल 2025 में आधिकारिक HBM4 विनिर्देश जारी किया।¹⁶ यह विनिर्देश HBM की शुरुआत के बाद से सबसे महत्वपूर्ण आर्किटेक्चरल परिवर्तन का प्रतिनिधित्व करता है, इंटरफेस चौड़ाई को 1,024 बिट्स से दोगुना करके 2,048 बिट्स कर दिया।¹⁷

HBM4 व्यापक इंटरफेस पर 8 गीगाबिट्स प्रति सेकंड तक की ट्रांसफर स्पीड का समर्थन करता है, कुल बैंडविड्थ प्रति स्टैक 2 टेराबाइट्स प्रति सेकंड तक पहुंचती है।¹⁸ 8 HBM4 डिवाइस वाला GPU 13 टेराबाइट्स प्रति सेकंड से अधिक कुल मेमोरी बैंडविड्थ प्राप्त करता है।¹⁹

व्यापक इंटरफेस के लिए पूरे मेमोरी सबसिस्टम में आर्किटेक्चरल परिवर्तनों की आवश्यकता थी। HBM4 प्रति स्टैक स्वतंत्र चैनलों की संख्या को दोगुना करके 32 कर देता है जिसमें प्रति चैनल 2 pseudo-channels हैं।²⁰ 2,048-बिट डेटा चैनल 32 64-बिट चैनलों या 64 32-बिट pseudo-channels में विभाजित होता है, HBM3 के 16 64-बिट चैनलों की तुलना में।²¹

24 गीगाबिट्स या 32 गीगाबिट्स की DRAM डाई घनत्व के साथ स्टैक ऊंचाई अधिकतम 16 डाई तक बढ़ती है, प्रति स्टैक 64 गीगाबाइट्स तक की क्षमता सक्षम करती है।²² क्षमता वृद्धि उन foundation models की बढ़ती पैरामीटर गणना को संबोधित करती है जो वर्तमान मेमोरी सीमाओं से अधिक हैं।

HBM4 HBM3 कंट्रोलर्स के साथ पिछड़ी संगतता बनाए रखता है, एक्सेलरेटर विक्रेताओं के लिए संक्रमण को आसान बनाता है।²³ Rambus HBM4 Memory Controller समर्थित सिग्नलिंग स्पीड को 10.0 गीगाबिट्स प्रति सेकंड तक बढ़ाता है, अधिकतम दर पर प्रति HBM4 डिवाइस 2.56 टेराबाइट्स प्रति सेकंड थ्रूपुट प्रदान करता है।²⁴

विश्वसनीयता सुधारों में बेहतर row-hammer शमन के लिए Directed Refresh Management (DRFM) शामिल है।²⁵ बढ़ी हुई RAS (Reliability, Availability, Serviceability) सुविधाएं AI एक्सेलरेटर में आम उच्च तापमान पर DRAM विश्वसनीयता के बारे में चिंताओं को संबोधित करती हैं।

HBM4E 10 गीगाबिट्स प्रति सेकंड डेटा दरों, प्रति स्टैक 2.5 टेराबाइट्स प्रति सेकंड बैंडविड्थ, और प्रति-पैकेज 80 वाट तक पावर के साथ विनिर्देश को और विस्तारित करता है।²⁶ HBM4E विनिर्देश 2027 समय-सीमा को लक्षित करता है।

निर्माता प्रतिस्पर्धा

SK Hynix ने HBM4 विकास पूरा किया और 2025 के अंत तक उच्च-मात्रा विनिर्माण के लिए तैयार हो गया।²⁷ SK Hynix के HBM4 स्टैक JEDEC विनिर्देशों को प्रदर्शन में 25% से अधिक करते हैं, 8 GT/s मानक की तुलना में 10 GT/s डेटा ट्रांसफर दरों की विशेषता है।²⁸ अंतिम ग्राहक योग्यता के बाद 2026 की शुरुआत में वॉल्यूम शिपमेंट शुरू होगी।²⁹

SK Hynix NVIDIA का प्राथमिक HBM आपूर्तिकर्ता बन गया, एक संबंध जिसने कंपनी के बाजार हिस्सेदारी लाभ को प्रेरित किया।³⁰ NVIDIA साझेदारी ने SK Hynix को उच्च-मूल्य AI मेमोरी मांग के बहुमत को पकड़ने की स्थिति में रखा।

Micron ने जून 2025 में HBM4 नमूने भेजना शुरू किया, कथित तौर पर NVIDIA सहित प्रमुख ग्राहकों को 36 गीगाबाइट 12-हाई स्टैक प्रदान किए।³¹ Q4 2025 तक, Micron ने 11 गीगाबिट्स प्रति सेकंड प्रति पिन से ऊपर की गति पर चलने वाले HBM4 नमूनों की घोषणा की, प्रति स्टैक 2.8 टेराबाइट्स प्रति सेकंड से अधिक प्रदान करते हैं।³² बड़े पैमाने पर उत्पादन समय कैलेंडर 2026 को लक्षित करता है।³³

Micron ने Hopper H200 और Blackwell B200 GPUs के लिए NVIDIA के साथ डिजाइन जीत हासिल की, HBM बाजार हिस्सेदारी को लगभग 5% से 2025 के अंत तक 20-25% लक्ष्य की ओर बढ़ाया।³⁴ NVIDIA योग्यता Micron की तकनीक और विनिर्माण क्षमता को मान्य करती है।

Samsung 2026 की पहली छमाही में HBM4 बड़े पैमाने पर उत्पादन शुरू करने का लक्ष्य रखता है।³⁵ Q3 2025 में, Samsung ने प्रारंभिक योग्यता के लिए NVIDIA को HBM4 नमूनों की बड़ी मात्रा भेजना शुरू किया।³⁶ Samsung कथित तौर पर AMD के MI450 एक्सेलरेटर के लिए प्राथमिक HBM4 आपूर्तिकर्ता के रूप में कार्य करता है।³⁷

Samsung की HBM बाजार हिस्सेदारी Q2 2024 में 41% से गिरकर Q2 2025 में 17% हो गई क्योंकि कंपनी NVIDIA के योग्यता परीक्षणों को पास करने के लिए संघर्ष कर रही थी।³⁸ Samsung HBM बिक्री के लिए पुरानी पीढ़ी के HBM3 चिप्स पर काफी हद तक निर्भर रहा जबकि प्रतिस्पर्धियों ने HBM3E भेजा।³⁹ विश्लेषकों का अनुमान है कि HBM3E पार्ट्स की योग्यता और 2026 में HBM4 के पूर्ण पैमाने पर आपूर्ति में प्रवेश के साथ Samsung की स्थिति मजबूत होगी।⁴⁰

HBM प्रतिस्पर्धा ने व्यापक मेमोरी उद्योग को नया आकार दिया। SK Hynix ने Q1 2025 में समग्र DRAM बाजार में पहली बार अग्रणी स्थान लिया, Samsung के 34% की तुलना में राजस्व का 36% हिस्सा हासिल किया।⁴¹ लंबे समय से चली आ रही Samsung नेतृत्व का उलटाव कुल DRAM मूल्य में HBM की बढ़ती हिस्सेदारी को दर्शाता है।

NVIDIA और AMD रोडमैप

NVIDIA का आधिकारिक रोडमैप Rubin को 8 HBM4 साइटों के साथ और Rubin Ultra को 16 HBM4 साइटों के साथ दिखाता है।⁴² Rubin interposer 2,194 वर्ग मिलीमीटर मापता है और 16-32 टेराबाइट्स प्रति सेकंड कुल बैंडविड्थ के साथ 288 से 384 गीगाबाइट्स VRAM क्षमता होस्ट करता है।⁴³ कुल चिप पावर 2,200 वाट तक पहुंचती है।⁴⁴

HBM क्षमता A100 के 80 गीगाबाइट्स HBM2E से बढ़कर Rubin Ultra के लिए 1,024 गीगाबाइट्स HBM4E तक प्रक्षेपित है।⁴⁵ प्रक्षेपवक्र उन मॉडलों की मेमोरी आवश्यकताओं को दर्शाता है जो दसियों ट्रिलियन पैरामीटर तक पहुंच सकते हैं।

Rubin उत्पादन 2026 की दूसरी छमाही के लिए ट्रैक पर है।⁴⁶ आर्किटेक्चर पर आधारित उपभोक्ता कार्ड 2026 के अंत या 2027 की शुरुआत में अपेक्षित हैं।⁴⁷ समय Rubin को NVIDIA की डेटा सेंटर लाइनअप में Blackwell Ultra के उत्तराधिकारी के रूप में स्थापित करता है।

AMD ने MI400 एक्सेलरेटर श्रृंखला के लिए HBM4 की पुष्टि की।⁴⁸ AMD का Instinct MI400, 2026 में लॉन्च हो रहा है, 19.6 टेराबाइट्स प्रति सेकंड तक मेमोरी बैंडविड्थ के साथ 432 गीगाबाइट्स HBM4 क्षमता को लक्षित करता है।⁴⁹ MI430X HBM4 का उपयोग करने वाला पहला AMD एक्सेलरेटर है।⁵⁰

HBM4 पीढ़ी दोनों विक्रेताओं के लिए एक नया प्रदर्शन स्तर स्थापित करती है। मेमोरी बैंडविड्थ और क्षमता वृद्धि उन मॉडल आकारों और inference थ्रूपुट को सक्षम करती है जिन्हें HBM3E कुशलता से समर्थन नहीं कर सकता।

मेमोरी दीवार बाधा

AI एक्सेलरेटर में मेमोरी बैंडविड्थ वृद्धि कंप्यूट क्षमता वृद्धि से पीछे रहती है। "मेमोरी दीवार" सीमित करती है कि एक्सेलरेटर अपने कम्प्यूटेशनल संसाधनों का कितने प्रभावी ढंग से उपयोग करते हैं। HBM विकास इस बाधा के लिए उद्योग की प्राथमिक प्रतिक्रिया का प्रतिनिधित्व करता है।

Large language models inference के दौरान मेमोरी-बाउंड विशेषताएं प्रदर्शित करते हैं। attention mechanism को प्रत्येक जनरेट किए गए टोकन के लिए पूर्ण key-value cache तक पहुंचने की आवश्यकता होती है। मेमोरी बैंडविड्थ निर्धारित करती है कि यह पहुंच कितनी जल्दी होती है, सीधे tokens-per-second थ्रूपुट को प्रभावित करती है।

Training वर्कलोड विभिन्न मेमोरी बाधाओं का सामना करते हैं। मॉडल पैरामीटर, gradients, optimizer states, और activations मेमोरी क्षमता के लिए प्रतिस्पर्धा करते हैं। मेमोरी बैंडविड्थ प्रभावित करती है कि gradient accumulation और optimization चरणों के दौरान प्रोसेसिंग यूनिट्स के बीच डेटा कितनी तेजी से चलता है।

HBM3 के 819 गीगाबाइट्स प्रति सेकंड की तुलना में HBM4 की 2 टेराबाइट्स प्रति सेकंड बैंडविड्थ 2.4x सुधार का प्रतिनिधित्व करती है।⁵¹ 36 गीगाबाइट्स से 64 गीगाबाइट्स प्रति स्टैक की क्षमता वृद्धि के साथ मिलाकर, HBM4 मेमोरी दीवार के बैंडविड्थ और क्षमता दोनों आयामों को संबोधित करता है।

हालांकि, कंप्यूट क्षमता मेमोरी बैंडविड्थ की तुलना में तेजी से बढ़ती है। प्रत्येक HBM पीढ़ी लगभग 2x बैंडविड्थ सुधार प्रदान करती है जबकि कंप्यूट भी हर पीढ़ी में दोगुना होता है। मेमोरी दीवार पीछे हटती है लेकिन कभी गायब नहीं होती।

भविष्य की HBM पीढ़ियां—HBM5 से HBM8 तक—उच्च डेटा दरों और संभावित रूप से व्यापक इंटरफेस के माध्यम से निरंतर बैंडविड्थ स्केलिंग प्रक्षेपित करती हैं।⁵² रोडमैप दशक भर में फैला हुआ है जिसमें बैंडविड्थ लक्ष्य प्रति सिस्टम 64 टेराबाइट्स प्रति सेकंड तक पहुंचते हैं।⁵³

इंफ्रास्ट्रक्चर योजना विचार

HBM आपूर्ति बाधाएं एक्सेलरेटर उपलब्धता को प्रभावित करती हैं। HBM की कमी ने 2023 और 2024 में GPU शिपमेंट को सीमित किया। बड़े deployments की योजना बनाने वाले संगठनों को समझना चाहिए कि GPU खरीद मेमोरी निर्माता क्षमता पर निर्भर करती है।

विक्रेता संबंध पहुंच निर्धारित करते हैं। SK Hynix का NVIDIA संबंध, Samsung की AMD पोजिशनिंग, और Micron के व्यापक योग्यता प्रयास आपूर्ति श्रृंखला जटिलता बनाते हैं। दूसरे स्तर के एक्सेलरेटर विक्रेताओं को लंबे लीड टाइम का सामना करना पड़ सकता है यदि मेमोरी hyperscaler ऑर्डर को प्राथमिकता देती है।

HBM4 संक्रमण 2026 के अंत में एक पीढ़ीगत बदलाव बनाता है। अभी deploy करने वाले संगठनों को HBM3E-आधारित सिस्टम प्राप्त होते हैं। Rubin या MI400 की प्रतीक्षा करने वालों को HBM4 के फायदे मिलते हैं। समय बहु-वर्षीय इंफ्रास्ट्रक्चर योजना को प्रभावित करता है।