AI इंफ्रास्ट्रक्चर के लिए CPUs: AMD EPYC, Intel Xeon, और NVIDIA Grace

11 दिसंबर, 2025 को अपडेट किया गया

दिसंबर 2025 अपडेट: AMD सर्वर CPU शेयर Q3 2025 में 27.8% तक पहुंचा, साल के अंत तक 40%+ और 2026 में संभावित रूप से 50% तक पहुंचने का अनुमान—Intel रिकॉर्ड-निम्न 72.2% पर। ARM प्रोसेसर अब कुल सर्वर बिक्री का 13.2% हैं, NVIDIA Grace Blackwell ARM सर्वर CPU वॉल्यूम में 50% वृद्धि कर रहा है। EPYC 9005 Turin 192 कोर (Zen 5c) और 512MB L3 कैश के साथ शिपिंग हो रहा है। Intel Xeon 6 Granite Rapids AI इंफरेंस एक्सेलरेशन पर फोकस कर रहा है।

AMD का सर्वर CPU मार्केट शेयर Q3 2025 में 27.8% तक पहुंच गया, साल के अंत तक 40% से अधिक और 2026 में संभावित रूप से 50% तक पहुंचने का अनुमान है।¹ Intel का शेयर गिरकर 72.2% हो गया—कंपनी ने कभी भी सर्वर CPU में इतना कम शेयर दर्ज नहीं किया था।² ARM प्रोसेसर अब कुल सर्वर बिक्री का 13.2% हैं, NVIDIA के Grace Blackwell कॉम्बिनेशन ARM सर्वर CPU वॉल्यूम में 50% वृद्धि कर रहे हैं।³ AI इंफ्रास्ट्रक्चर के लिए CPU लैंडस्केप पिछले दो दशकों में किसी भी समय की तुलना में तेजी से बदल रहा है।

GPUs AI ट्रेनिंग और इंफरेंस कंप्यूट पर हावी हैं, लेकिन CPUs ऑर्केस्ट्रेशन, डेटा प्रीप्रोसेसिंग, इंफरेंस रिक्वेस्ट सर्व करने और कंट्रोल प्लेन मैनेज करने के लिए आवश्यक बने हुए हैं। CPU का चुनाव मेमोरी बैंडविड्थ, I/O कनेक्टिविटी, पावर एफिशिएंसी और कुल सिस्टम कॉस्ट को प्रभावित करता है। स्केल पर AI डिप्लॉय करने वाले संगठनों को GPU प्रोक्योरमेंट जितनी सावधानी से CPU सिलेक्शन का मूल्यांकन करना चाहिए।

AMD EPYC 9005 Turin: डेंसिटी लीडर

AMD ने EPYC 9005 सीरीज (कोडनेम Turin) 10 अक्टूबर, 2024 को लॉन्च की, जो Zen 5 आर्किटेक्चर पर बनी EPYC सर्वर प्रोसेसर की पांचवीं पीढ़ी है।⁴ AMD इन्हें एंटरप्राइज, AI और क्लाउड वर्कलोड के लिए दुनिया के सबसे अच्छे सर्वर CPU के रूप में पोजिशन करता है।⁵

Turin दो कोर कॉन्फिगरेशन प्रदान करता है। स्टैंडर्ड Zen 5 मॉडल TSMC की 4nm प्रोसेस पर निर्मित प्रति सॉकेट 128 कोर तक पहुंचते हैं।⁶ डेंस Zen 5c वेरिएंट TSMC की 3nm प्रोसेस का उपयोग करके प्रति सॉकेट 192 कोर प्रदान करते हैं।⁷ फ्लैगशिप EPYC 9965 500W TDP के साथ 192 कोर और 384 थ्रेड प्रदान करता है।⁸

प्रमुख स्पेसिफिकेशन पूरे प्रोडक्ट स्टैक में फैली हुई हैं:

आर्किटेक्चर स्टैंडर्ड मॉडल में 16 CCDs (Core Compute Dies) तक और डेंस कॉन्फिगरेशन में 12 CCDs तक का उपयोग करता है, जो एक सेंट्रल I/O डाई के साथ जोड़ा गया है।⁹ स्टैंडर्ड CCDs में प्रत्येक में आठ Zen 5 कोर होते हैं, जबकि डेंस CCDs में 16 Zen 5c कोर पैक होते हैं।¹⁰

मेमोरी सपोर्ट 12 चैनलों में ECC के साथ DDR5-6000 तक पहुंचता है, जो पिछली पीढ़ी में DDR5-4800 से अधिक है।¹¹ PCIe कनेक्टिविटी Type 1, 2, और 3 डिवाइसेस के लिए CXL 1.0 सपोर्ट के साथ 128 Gen5 लेन तक प्रदान करती है।¹² SP5 सॉकेट Genoa और Bergamo सिस्टम्स के साथ कम्पैटिबिलिटी बनाए रखता है।¹³

Turin प्रोसेसर फुल 512-bit AVX-512 डेटा पाथ्स के साथ पिछली पीढ़ी की तुलना में 17% IPC उन्नयन प्रदान करते हैं।¹⁴ सुधार सीधे AI इंफ्रास्ट्रक्चर में आम डेटा प्रीप्रोसेसिंग और इंफरेंस सर्विंग वर्कलोड में अनुवादित होते हैं।

AMD के डेटा सेंटर बिजनेस ने $3.7 बिलियन तिमाही राजस्व उत्पन्न किया, जो साल-दर-साल 57% बढ़ा।¹⁵ वृद्धि दोनों कैटेगरी में AMD के शेयर बढ़ने के साथ EPYC CPU और Instinct GPU दोनों की बिक्री को दर्शाती है।

Intel Xeon 6 Granite Rapids: AI इंफरेंस एडवांटेज

Intel ने Xeon 6 Granite Rapids 6900P सीरीज की घोषणा की जिसमें 72 से 128 कोर तक के मॉडल हैं—2017 के बाद पहली बार AMD की कोर काउंट से आगे।¹⁶ प्रोसेसर Intel 3 प्रोसेस नोड पर Intel के Redwood Cove P-core आर्किटेक्चर का उपयोग करते हैं।¹⁷

Granite Rapids-AP (Advanced Performance) मॉडल बड़े LGA 7529 सॉकेट के साथ Avenue City प्लेटफॉर्म का उपयोग करते हैं।¹⁸ बड़ा सॉकेट 12-चैनल DDR5 मेमोरी सपोर्ट और टू-सॉकेट कॉन्फिगरेशन में 192 PCIe 5.0 लेन तक के साथ 128 कोर सक्षम करता है।¹⁹ L3 कैश टॉप-टियर SKUs पर प्रभावशाली 504 मेगाबाइट तक पहुंचता है।²⁰

मेमोरी बैंडविड्थ एक प्रमुख डिफरेंशिएटर है। Granite Rapids UCC 6.4 GHz स्टैंडर्ड पर DDR5 और 8.8 GHz पर multiplexed rank (MRDIMM) मेमोरी सपोर्ट करता है।²¹ उच्च मेमोरी स्पीड मेमोरी-बाउंड AI इंफरेंस वर्कलोड को लाभ पहुंचाती हैं।

I/O आर्किटेक्चर 136 PCIe 5.0 लेन प्रदान करता है—Emerald Rapids में 128 से अधिक—मल्टी-सॉकेट स्केलिंग के लिए CXL 2.0 Type 3 सपोर्ट और 6 UPI लिंक तक के साथ।²²

Intel का विशिष्ट लाभ Advanced Matrix Extensions (AMX) में है, जो AI इंफरेंस वर्कलोड को एक्सेलरेट करते हैं।²³ मैट्रिक्स इंजन Xeon 6500P और 6700P प्रोसेसर पर AMX FP16 एक्सेलरेशन सपोर्ट करता है।²⁴ Intel का दावा है कि AMD के प्रतिस्पर्धी 96-कोर Genoa फ्लैगशिप की तुलना में ResNet50 में 5.5 गुना AI इंफरेंसिंग परफॉर्मेंस है।²⁵

बेंचमार्क टेस्टिंग AMX एडवांटेज की पुष्टि करती है। Phoronix ने Granite Rapids पर AMX के साथ बड़े पैमाने पर AI परफॉर्मेंस लाभों का दस्तावेजीकरण किया, जो नॉन-एक्सेलरेटेड x86 एक्जीक्यूशन की तुलना में महत्वपूर्ण इंफरेंस थ्रूपुट सुधार दिखाता है।²⁶

Granite Rapids-D प्रोसेसर 2025 में उपलब्धता के साथ एज कंप्यूटिंग और नेटवर्किंग एप्लिकेशन को टारगेट करते हैं।²⁷ शुरुआती मॉडल 42 कोर तक पहुंचते हैं जिसमें 72-कोर वेरिएंट साल के अंत में अपेक्षित हैं।²⁸ SoC वेरिएंट प्रति कोर 3.2 गुना बेहतर RAN AI परफॉर्मेंस के साथ Intel Ethernet इंटीग्रेट करते हैं।²⁹

प्रतिस्पर्धी हार्डवेयर के बावजूद Intel की मार्केट शेयर चुनौतियां जारी हैं। कंपनी के पास सर्वर CPU यूनिट्स का 72.2% है लेकिन तिमाही दर तिमाही शेयर खोना जारी है।³⁰ रेवेन्यू शेयर एक अलग कहानी बताता है—AMD यूनिट्स के बजाय डॉलर से मापने पर 37.2% कैप्चर करता है, जो AMD की उच्च-कीमत वाले सेगमेंट में सफलता को दर्शाता है।³¹

NVIDIA Grace: ARM डेटा सेंटर में प्रवेश

NVIDIA Grace कंपनी का पहला डेटा सेंटर CPU है, जो विशेष रूप से AI और हाई-परफॉर्मेंस कंप्यूटिंग वर्कलोड के लिए ARM Neoverse V2 कोर पर बना है।³² आर्किटेक्चर NVIDIA GPUs के साथ जोड़ा गया है ताकि टाइटली कपल्ड सिस्टम बनाए जा सकें जो पारंपरिक CPU-GPU कम्युनिकेशन बॉटलनेक्स को खत्म करते हैं।

Grace CPU में प्रति कोर 4×128-bit SVE2 वेक्टर यूनिट्स के साथ 72 हाई-परफॉर्मेंस ARM Neoverse V2 कोर हैं।³³ कैश हायरार्की में 64KB L1 इंस्ट्रक्शन और डेटा कैश, प्रति कोर 1MB L2, और 117MB शेयर्ड L3 शामिल है।³⁴ मेमोरी 250W TDP पर 546GB/s बैंडविड्थ के साथ 480GB यूजेबल LPDDR5X तक पहुंचती है।³⁵

Grace CPU Superchip दो Grace CPUs को NVLink-C2C के माध्यम से जोड़ता है, जो 1TB/s मेमोरी बैंडविड्थ तक के साथ 144 ARM कोर प्रदान करता है।³⁶ इंटरकनेक्ट 960GB LPDDR5X मेमोरी तक के साथ एक सिंगल मॉड्यूल पर दो CPUs के बीच 900GB/s बैंडविड्थ प्राप्त करता है।³⁷

NVIDIA का दावा है कि Grace समकालीन x86 सर्वरों की तुलना में 2x परफॉर्मेंस प्रति वाट, 2x पैकेजिंग डेंसिटी, और सबसे अधिक मेमोरी बैंडविड्थ प्रदान करता है।³⁸ एफिशिएंसी एडवांटेज पावर-कंस्ट्रेन्ड AI डिप्लॉयमेंट में बढ़ते हैं।

GB200 NVL72 कॉन्फिगरेशन रैक-स्केल लिक्विड-कूल्ड डिजाइन में 36 Grace CPUs को 72 Blackwell GPUs से जोड़ता है।³⁹ सिस्टम ट्रिलियन-पैरामीटर लार्ज लैंग्वेज मॉडल के लिए पिछली पीढ़ियों की तुलना में 30x तेज रियल-टाइम इंफरेंस प्रदान करता है।⁴⁰

Grace ARM सॉफ्टवेयर इकोसिस्टम के साथ पूरी तरह से इंटीग्रेट होता है। NVIDIA HPC SDK और सभी CUDA कंपोनेंट्स ARM-नेटिव इंस्टॉलर और कंटेनर प्रदान करते हैं।⁴¹ NVIDIA NIM माइक्रोसर्विसेज और NGC कंटेनर ARM के लिए ऑप्टिमाइज्ड हैं।⁴² सभी प्रमुख Linux डिस्ट्रीब्यूशन बिना मॉडिफिकेशन के चलते हैं।⁴³

ARM का डेटा सेंटर मोमेंटम NVIDIA से परे फैला हुआ है। ARM Holdings का अनुमान है कि इसका डेटा सेंटर CPU मार्केट शेयर 2024 में लगभग 15% से बढ़कर 2025 के अंत तक 50% हो जाएगा।⁴⁴ यह अनुमान क्लाउड-नेटिव ARM इंस्टेंसेज और NVIDIA के Grace अडॉप्शन से आक्रामक वृद्धि को दर्शाता है।

GB10 Grace Blackwell superchip AI डेवलपर्स, रिसर्चर्स और एज कंप्यूटिंग के लिए डेस्कटॉप फॉर्म फैक्टर में आर्किटेक्चर लाता है।⁴⁵ सिस्टम-इन-पैकेज एक ARM CPU को Blackwell GPU कैपेबिलिटीज के साथ मर्ज करता है, जो लोकल AI डेवलपमेंट सक्षम करता है जिसके लिए पहले डेटा सेंटर एक्सेस की आवश्यकता होती थी।

वर्कलोड-स्पेसिफिक CPU सिलेक्शन

AI इंफ्रास्ट्रक्चर के लिए CPU सिलेक्शन डिप्लॉयमेंट आर्किटेक्चर के भीतर स्पेसिफिक रोल पर निर्भर करता है। अलग-अलग वर्कलोड अलग-अलग प्रोसेसर चैरेक्टरिस्टिक्स को पसंद करते हैं।

कंट्रोल प्लेन और ऑर्केस्ट्रेशन वर्कलोड हाई कोर काउंट और मेमोरी कैपेसिटी से लाभान्वित होते हैं। Kubernetes कंट्रोल प्लेन, जॉब शेड्यूलर, और मॉनिटरिंग सिस्टम उपलब्ध कोर के साथ स्केल होते हैं। AMD EPYC की 192-कोर डेंसिटी कंसोलिडेशन के लिए हेडरूम प्रदान करती है। इन वर्कलोड के लिए प्रति-कोर परफॉर्मेंस से अधिक मेमोरी चैनल और कैपेसिटी मायने रखती है।

डेटा प्रीप्रोसेसिंग पाइपलाइन रॉ डेटा को ट्रेनिंग-रेडी फॉर्मेट में ट्रांसफॉर्म करती हैं। ये वर्कलोड अक्सर कंप्यूट के बजाय मेमोरी बैंडविड्थ के साथ स्केल होते हैं। Intel का 8.8 GHz पर MRDIMM सपोर्ट बैंडविड्थ एडवांटेज प्रदान करता है। प्रीप्रोसेसिंग स्टेज अक्सर GPU क्लस्टर को फीड करने वाले डेडिकेटेड CPU-ओनली सिस्टम पर चलती है।

इंफरेंस सर्विंग वर्कलोड CPU इवैल्युएशन के लिए सबसे मजबूत केस पेश करते हैं। जबकि GPUs मॉडल एक्जीक्यूशन हैंडल करते हैं, CPUs रिक्वेस्ट रूटिंग, टोकनाइजेशन, और रिस्पॉन्स असेंबली मैनेज करते हैं। Intel का AMX एक्सेलरेशन छोटे मॉडल के लिए CPU-बेस्ड इंफरेंस सक्षम करता है, जो उपयुक्त वर्कलोड के लिए संभावित रूप से GPU आवश्यकताओं को समाप्त करता है। 5.5x ResNet50 परफॉर्मेंस एडवांटेज वैल्यू प्रोपोजिशन प्रदर्शित करता है।

GPU होस्ट सिस्टम को ऐसे CPUs की आवश्यकता होती है जो बॉटलनेक बनने से बचें। PCIe लेन काउंट निर्धारित करते हैं कि कितने GPUs प्रत्येक CPU सॉकेट से कनेक्ट होते हैं। EPYC की 128 Gen5 लेन और Granite Rapids की 136 लेन दोनों आठ-GPU कॉन्फिगरेशन सपोर्ट करती हैं। मेमोरी बैंडविड्थ प्रभावित करती है कि ट्रेनिंग बैच के लिए डेटा कितनी जल्दी GPU मेमोरी में मूव होता है।

एज इंफरेंस डिप्लॉयमेंट पावर एफिशिएंसी और इंटीग्रेटेड I/O को पसंद करते हैं। Granite Rapids-D नेटवर्क इंफरेंस अप्लायंसेज के लिए Ethernet कनेक्टिविटी इंटीग्रेट करता है। Grace का ARM आर्किटेक्चर एज डिप्लॉयमेंट के लिए आवश्यक एफिशिएंसी प्रोफाइल प्रदान करता है।

इंफ्रास्ट्रक्चर प्लानिंग कंसीडरेशन

CPU मार्केट डायनामिक्स मल्टी-वेंडर इवैल्युएशन का समर्थन करते हैं। AMD के स्थिर शेयर गेन प्रतिस्पर्धी दबाव बनाते हैं जो खरीदारों को लाभ पहुंचाता है। Granite Rapids के साथ Intel की प्रतिक्रिया मार्केट चुनौतियों के बावजूद निरंतर इनोवेशन प्रदर्शित करती है। NVIDIA का Grace GPU-सेंट्रिक आर्किटेक्चर के लिए डिफरेंशिएशन प्रदान करता है।

मेमोरी आर्किटेक्चर तेजी से प्लेटफॉर्म को अलग करता है। CXL सपोर्ट सॉकेट कैपेसिटी से परे मेमोरी एक्सपैंशन सक्षम करता है। DDR5 स्पीड प्रत्येक पीढ़ी के साथ बढ़ती रहती हैं। मल्टी-ईयर इंफ्रास्ट्रक्चर प्लान करने वाले संगठनों को CPU स्पेसिफिकेशन के साथ-साथ मेमोरी रोडमैप का मूल्यांकन करना चाहिए।

पावर एफिशिएंसी कंस्ट्रेन्ड फैसिलिटीज में डिप्लॉयमेंट डेंसिटी निर्धारित करती है। Grace के 2x परफॉर्मेंस प्रति वाट के दावे को स्पेसिफिक वर्कलोड के लिए वैलिडेशन की जरूरत है। पावर एडवांटेज बड़े डिप्लॉयमेंट में बढ़ता है जहां फैसिलिटी लिमिट्स ग्रोथ को कंस्ट्रेन करती हैं।

सॉफ्टवेयर इकोसिस्टम रिक्वायरमेंट्स कुछ संगठनों के लिए विकल्प सीमित करती हैं। लेगेसी वर्कलोड के लिए x86 कम्पैटिबिलिटी आवश्यक रहती है। ARM अडॉप्शन के लिए एप्लिकेशन वैलिडेशन और संभावित रूप से रीकंपाइलेशन की आवश्यकता होती है। Grace के साथ CUDA इंटीग्रेशन GPU-सेंट्रिक डिप्लॉयमेंट के लिए ट्रांजिशन को सरल बनाता है।

टोटल कॉस्ट ऑफ ओनरशिप कैलकुलेशन में न केवल प्रोसेसर प्राइसिंग बल्कि सिस्टम कॉस्ट, पावर कंजम्प्शन, और लाइसेंसिंग शामिल होनी चाहिए। AMD की हाई एंड पर अनुकूल प्राइसिंग—$14,813 पर 192-कोर 9965—Intel के तुलनीय ऑफरिंग को अंडरकट करती है। हालांकि, Intel का AMX एक्सेलरेशन इंफरेंस के लिए GPU रिक्वायरमेंट्स को कम कर सकता है, जो व्यापक कॉस्ट इक्वेशन को प्रभावित करता है।

CPU AI इंफ्रास्ट्रक्चर की नींव बना हुआ है भले ही GPUs ध्यान आकर्षित करते हैं। जो संगठन GPU प्रोक्योरमेंट पर लागू की गई उतनी ही कठोरता के साथ CPU सिलेक्शन का मूल्यांकन करते हैं, वे अधिक संतुलित, एफिशिएंट सिस्टम बनाते हैं। AMD, Intel, और NVIDIA के बीच प्रतिस्पर्धी गतिशीलता सुनिश्चित करती है कि सावधानीपूर्ण मूल्यांकन सार्थक इंफ्रास्ट्रक्चर एडवांटेज देता है।

मुख्य बिंदु

सर्वर प्रोक्योरमेंट के लिए: - AMD EPYC Turin 9965: 192 कोर (Zen 5c), 384MB L3, $14,813 पर 500W TDP; हाई एंड पर Intel बनाम अनुकूल प्राइसिंग - Intel Xeon 6900P: 128 कोर (Granite Rapids), 504MB L3, AMX FP16 एक्सेलरेशन, 8.8GHz पर MRDIMM सपोर्ट - NVIDIA Grace: 72 ARM कोर, 546GB/s बैंडविड्थ पर 480GB LPDDR5X, 250W TDP; 2x perf/watt का दावा

वर्कलोड प्लानिंग के लिए: - कंट्रोल प्लेन/ऑर्केस्ट्रेशन: हाई कोर काउंट पसंद करते हैं (AMD 192-कोर डेंसिटी); प्रति-कोर स्पीड से अधिक मेमोरी कैपेसिटी मायने रखती है - डेटा प्रीप्रोसेसिंग: मेमोरी बैंडविड्थ के साथ स्केल होती है; Intel MRDIMM 8.8GHz एडवांटेज प्रदान करता है - इंफरेंस सर्विंग: Intel AMX AMD बनाम 5.5x ResNet50 परफॉर्मेंस देता है; छोटे मॉडल के लिए GPU रिक्वायरमेंट समाप्त कर सकता है - GPU होस्ट सिस्टम: PCIe लेन काउंट (AMD 128, Intel 136 Ge

[अनुवाद के लिए कंटेंट काटा गया]