AI वर्कलोड राइट-साइज़िंग: GPU संसाधनों को मॉडल आवश्यकताओं से मिलाना

11 दिसंबर, 2025 को अपडेट किया गया

दिसंबर 2025 अपडेट: 67% छोटी AI टीमें पहले हार्डवेयर को वर्कलोड आवश्यकताओं के साथ गलत तरीके से संरेखित करती हैं—40% या तो अधिक या कम प्रोविज़न करती हैं। Meta का Zoomer टूल प्रतिदिन दसियों हज़ार प्रोफाइलिंग रिपोर्ट तैयार कर रहा है, जो उद्योग मानक बन रहा है। 2025 तक, 76% एंटरप्राइज़ AI वर्कलोड को स्वचालित संसाधन अनुकूलन की आवश्यकता होगी। VRAM प्राथमिक बाधा बना हुआ है, लेकिन PCIe बैंडविड्थ, NUMA लेआउट, और स्टोरेज थ्रूपुट वास्तविक-विश्व प्रदर्शन को तेज़ी से निर्धारित कर रहे हैं।

Meta का Zoomer टूल कंपनी भर में GPU वर्कलोड अनुकूलन के लिए वास्तविक मानक बन गया है, जो प्रतिदिन दसियों हज़ार प्रोफाइलिंग रिपोर्ट तैयार करता है।[^1] सभी ट्रेनिंग और इन्फरेंस वर्कलोड पर काम करते हुए, Zoomer बुद्धिमान डिबगिंग और अनुकूलन के माध्यम से ट्रेनिंग समय में कमी और महत्वपूर्ण QPS सुधार प्रदान करता है। यह टूल हाइपरस्केल पर संचालित मैन्युअल ट्यूनिंग से स्वचालित, निरंतर अनुकूलन तक वर्कलोड राइट-साइज़िंग की परिपक्वता का उदाहरण है।

अध्ययनों से पता चलता है कि लगभग 67% छोटी AI टीमें अपने पहले हार्डवेयर को वास्तविक वर्कलोड आवश्यकताओं के साथ गलत तरीके से संरेखित करती हैं, जिसमें 40% या तो अधिक प्रोविज़न करती हैं या कम।[^2] ये समस्याएं तब उभरती हैं जब टीमें केवल VRAM पर ध्यान केंद्रित करती हैं और PCIe बैंडविड्थ, NUMA लेआउट, और स्टोरेज थ्रूपुट जैसी संबंधित सीमाओं को अनदेखा करती हैं। बाज़ार विश्लेषण से पता चलता है कि 2025 तक, लगभग 76% एंटरप्राइज़ AI वर्कलोड को लागत-प्रभावशीलता बनाए रखने के लिए किसी न किसी प्रकार के स्वचालित संसाधन अनुकूलन की आवश्यकता होगी।[^3] राइट-साइज़िंग पद्धति GPU संसाधन आवंटन को अनुमान से इंजीनियरिंग अनुशासन में बदल देती है।

वर्कलोड आवश्यकताओं को समझना

प्रभावी राइट-साइज़िंग के लिए कई संसाधन आयामों में वर्कलोड विशेषताओं को समझना आवश्यक है।

मेमोरी आवश्यकताएं

VRAM क्षमता यह निर्धारित करती है कि ऑफलोडिंग या पार्टीशनिंग के बिना GPU पर सबसे बड़ा मॉडल कौन सा फिट हो सकता है। Transformer मॉडल पैरामीटर गणना, कॉन्टेक्स्ट लंबाई, और बैच साइज़ के साथ रैखिक रूप से बढ़ते हैं। FP16 प्रेसिशन पर 7B पैरामीटर मॉडल को केवल वेट्स के लिए लगभग 14GB की आवश्यकता होती है, साथ ही एक्टिवेशन, ऑप्टिमाइज़र स्टेट्स, और KV कैश के लिए अतिरिक्त मेमोरी।

मेमोरी बैंडविड्थ मेमोरी-बाउंड वर्कलोड के लिए थ्रूपुट को प्रभावित करती है। इन्फरेंस वर्कलोड अक्सर कंप्यूट क्षमता के बजाय मेमोरी बैंडविड्थ पर बॉटलनेक होते हैं। A100 2 TB/s HBM बैंडविड्थ प्रदान करता है जबकि L40S 864 GB/s प्रदान करता है, जो मेमोरी-बाउंड मॉडल के लिए इन्फरेंस थ्रूपुट को आनुपातिक रूप से प्रभावित करता है।

ट्रेनिंग और इन्फरेंस के बीच मेमोरी क्षमता आवश्यकताएं नाटकीय रूप से भिन्न होती हैं। ट्रेनिंग के लिए मॉडल वेट्स, ग्रेडिएंट्स, ऑप्टिमाइज़र स्टेट्स, और एक्टिवेशन के लिए मेमोरी की आवश्यकता होती है। इन्फरेंस के लिए केवल वेट्स और इन्फरेंस-टाइम एक्टिवेशन की आवश्यकता होती है। 8-GPU ट्रेनिंग की आवश्यकता वाला मॉडल उचित अनुकूलन के साथ एकल GPU पर इन्फरेंस सर्व कर सकता है।

कंप्यूट आवश्यकताएं

FLOPS क्षमता कंप्यूट-बाउंड वर्कलोड के लिए अधिकतम थ्रूपुट निर्धारित करती है। बड़े मॉडल की ट्रेनिंग कंप्यूट-बाउंड ऑपरेशन की ओर झुकती है, जो उच्च FLOPS GPU से लाभान्वित होती है। सही तरीके से कॉन्फ़िगर किए जाने पर डेंस मैट्रिक्स ऑपरेशन GPU कंप्यूट संसाधनों को संतृप्त करते हैं।

स्पार्स और अटेंशन ऑपरेशन अलग-अलग कंप्यूट पैटर्न प्रदर्शित करते हैं। Flash attention और इसी तरह के अनुकूलन कंप्यूट-मेमोरी ट्रेडऑफ को बदलते हैं, कुछ वर्कलोड को मेमोरी-बाउंड से कंप्यूट-बाउंड में स्थानांतरित करते हैं। वर्कलोड प्रोफाइलिंग को इन एल्गोरिथमिक अनुकूलन का हिसाब रखना चाहिए।

प्रेसिशन चयन मेमोरी और कंप्यूट दोनों आवश्यकताओं को प्रभावित करता है। FP16 और BF16 ट्रेनिंग FP32 की आधी मेमोरी का उपयोग करती है जबकि टेंसर कोर पर थ्रूपुट बढ़ाती है। INT8 और INT4 क्वांटाइज़ेशन इन्फरेंस के लिए आवश्यकताओं को और कम करते हैं। वर्कलोड के लिए चुनी गई प्रेसिशन हार्डवेयर आवश्यकताओं को मौलिक रूप से आकार देती है।

इंटरकनेक्ट आवश्यकताएं

मल्टी-GPU वर्कलोड के लिए पैरेललिज़्म रणनीति से मेल खाती इंटरकनेक्ट बैंडविड्थ की आवश्यकता होती है। GPU में टेंसर पैरेललिज़्म उच्चतम बैंडविड्थ की मांग करता है, जो NVLink की 900 GB/s एग्रीगेट से लाभान्वित होता है। पाइपलाइन पैरेललिज़्म उच्च लेटेंसी के साथ कम बैंडविड्थ को सहन करता है। डेटा पैरेललिज़्म ग्रेडिएंट सिंक्रनाइज़ेशन को मॉडल साइज़ के साथ स्केलिंग करने वाली मध्यम बैंडविड्थ की आवश्यकता होती है।

सिंगल-GPU वर्कलोड को भी डेटा लोडिंग के लिए PCIe बैंडविड्थ की आवश्यकता हो सकती है। हाई-थ्रूपुट इन्फरेंस सर्विंग मॉडल इनपुट को लगातार पढ़ती है और आउटपुट लिखती है। PCIe Gen5 64 GB/s प्रदान करता है जिसे हाई-बैच इन्फरेंस संतृप्त कर सकता है।

प्रोफाइलिंग और मापन

राइट-साइज़िंग के लिए वर्कलोड व्यवहार के बारे में धारणा के बजाय मापन की आवश्यकता होती है।

प्रोफाइलिंग टूल्स

NVIDIA Nsight Systems समय के साथ CPU, GPU, और इंटरकनेक्ट गतिविधि दिखाने वाली सिस्टम-व्यापी प्रोफाइलिंग प्रदान करता है।[^4] टाइमलाइन व्यू निष्क्रिय अवधि, कर्नेल लॉन्च, और डेटा ट्रांसफर को प्रकट करता है। प्रोफाइलिंग पहचानती है कि वर्कलोड कंप्यूट-बाउंड हैं, मेमोरी-बाउंड हैं, या अन्य बॉटलनेक से पीड़ित हैं।

Nsight Compute प्राप्त ऑक्यूपेंसी, मेमोरी थ्रूपुट, और कंप्यूट उपयोग दिखाने वाला विस्तृत कर्नेल-स्तरीय विश्लेषण प्रदान करता है।[^5] विश्लेषण व्यक्तिगत कर्नेल के भीतर अनुकूलन अवसरों की पहचान करता है। यह टूल कोड अनुकूलन का मार्गदर्शन करता है जो हार्डवेयर आवश्यकताओं को बदलता है।

PyTorch Profiler और TensorFlow Profiler ML फ्रेमवर्क में प्रोफाइलिंग को एकीकृत करते हैं।[^6] एकीकरण अलग टूल्स सीखे बिना ML वर्कलोड की प्रोफाइलिंग को सरल बनाता है। फ्रेमवर्क-विशिष्ट अंतर्दृष्टि GPU-स्तरीय प्रोफाइलिंग को पूरक करती है।

प्रमुख मेट्रिक्स

GPU उपयोग प्रतिशत दिखाता है कि GPU कितने समय कर्नेल निष्पादित करता है। कम उपयोग CPU बॉटलनेक, डेटा लोडिंग समस्याओं, या ऑपरेशन के बीच निष्क्रिय अवधि का संकेत देता है। उच्च उपयोग से पता चलता है कि वर्कलोड आवंटित GPU का प्रभावी ढंग से उपयोग करता है।

मेमोरी उपयोग पीक और औसत मेमोरी खपत को ट्रैक करता है। पीक मेमोरी न्यूनतम GPU मेमोरी आवश्यकता निर्धारित करती है। औसत मेमोरी साझाकरण या छोटे GPU आवंटन की संभावना का संकेत देती है यदि पीक को कम किया जा सके।

SM (Streaming Multiprocessor) ऑक्यूपेंसी मापती है कि कंप्यूट संसाधन कितने पूर्ण रूप से उपयोग किए गए हैं। उच्च उपयोग के साथ कम ऑक्यूपेंसी कर्नेल लॉन्च ओवरहेड का सुझाव देती है। अनुकूलन हार्डवेयर बदले बिना थ्रूपुट में सुधार कर सकता है।

बेंचमार्क मानकीकरण

MLPerf बेंचमार्क हार्डवेयर कॉन्फ़िगरेशन में मानकीकृत वर्कलोड तुलना प्रदान करते हैं।[^7] बेंचमार्क प्रतिनिधि मॉडल के साथ ट्रेनिंग और इन्फरेंस परिदृश्यों को कवर करते हैं। MLPerf परिणाम वेंडर मार्केटिंग दावों पर भरोसा किए बिना वस्तुनिष्ठ हार्डवेयर तुलना को सक्षम करते हैं।

NVIDIA प्लेटफ़ॉर्म ने हर MLPerf Training v5.1 बेंचमार्क पर सबसे तेज़ ट्रेनिंग समय दिया, चिप्स, सिस्टम और सॉफ़्टवेयर में नवाचारों के साथ निरंतर ट्रेनिंग प्रदर्शन नेतृत्व को सक्षम किया।[^8] MLPerf v5.1 ने पुराने BERT-Large और Stable Diffusion को Llama 3.1 8B और FLUX.1 से बदल दिया, जो विकसित हो रहे AI वर्कलोड परिदृश्य को दर्शाता है।[^9]

राइट-साइज़िंग पद्धति

व्यवस्थित राइट-साइज़िंग आवश्यकताओं से सत्यापन तक एक संरचित प्रक्रिया का पालन करती है।

आवश्यकताओं का संग्रह

पैरामीटर गणना, लेयर प्रकार, और प्रेसिशन आवश्यकताओं सहित मॉडल आर्किटेक्चर का दस्तावेज़ीकरण करें। आर्किटेक्चर मौलिक रूप से मेमोरी और कंप्यूट आवश्यकताओं को बाधित करता है। बड़े भाषा मॉडल, विज़न ट्रांसफॉर्मर, और डिफ्यूज़न मॉडल के अलग-अलग संसाधन प्रोफ़ाइल होते हैं।

थ्रूपुट लक्ष्य, लेटेंसी SLA, और बैच साइज़ अपेक्षाओं सहित प्रदर्शन आवश्यकताओं को परिभाषित करें। आवश्यकताएं निर्धारित करती हैं कि कॉन्फ़िगरेशन पर्याप्त है या नहीं, न कि केवल यह कि यह चलता है या नहीं। एक कॉन्फ़िगरेशन जो निष्पादित होती है लेकिन लेटेंसी लक्ष्य चूक जाती है, वह अंडरसाइज़्ड रहती है।

स्केलिंग आवश्यकताओं और विकास अपेक्षाओं की पहचान करें। इंफ्रास्ट्रक्चर को पूर्ण प्रतिस्थापन के बिना नियोजित वर्कलोड वृद्धि को समायोजित करना चाहिए। आज के वर्कलोड के लिए राइट-साइज़िंग करते हुए कल की योजना बनाना समय से पहले अप्रचलन से बचाता है।

उम्मीदवार चयन

बेसलाइन आवश्यकताओं से मेल खाते GPU विकल्पों की पहचान करें। मेमोरी क्षमता उन विकल्पों को फ़िल्टर करती है जो वर्कलोड को फिट नहीं कर सकते। कंप्यूट क्षमता उन विकल्पों को फ़िल्टर करती है जो थ्रूपुट आवश्यकताओं को पूरा नहीं कर सकते। इंटरसेक्शन व्यवहार्य उम्मीदवारों को परिभाषित करता है।

GPU पीढ़ियों और आर्किटेक्चर पर विचार करें। Blackwell जैसी नई आर्किटेक्चर प्रति वाट बेहतर प्रदर्शन प्रदान करती हैं लेकिन उच्च अधिग्रहण लागत के साथ। Ampere जैसी पुरानी आर्किटेक्चर कई वर्कलोड के लिए पर्याप्त प्रदर्शन के साथ कम लागत प्रदान करती हैं। अर्थशास्त्र वर्कलोड विशेषताओं और डिप्लॉयमेंट अवधि पर निर्भर करता है।

क्लाउड बनाम ऑन-प्रिमाइसेस ट्रेडऑफ का मूल्यांकन करें। क्लाउड प्रतिबद्धता से पहले कई GPU प्रकारों के साथ प्रयोग करने की लचीलापन प्रदान करता है। ऑन-प्रिमाइसेस पूर्वानुमानित निरंतर वर्कलोड के लिए कम दीर्घकालिक लागत प्रदान करता है। हाइब्रिड दृष्टिकोण प्रयोग के लिए क्लाउड और प्रोडक्शन के लिए ऑन-प्रिमाइसेस का उपयोग करते हैं।

सत्यापन परीक्षण

वास्तविक प्रदर्शन को मापते हुए उम्मीदवार कॉन्फ़िगरेशन पर वास्तविक वर्कलोड चलाएं। सिंथेटिक बेंचमार्क वास्तविक वर्कलोड व्यवहार का प्रतिनिधित्व नहीं कर सकते। प्रोडक्शन-प्रतिनिधि परीक्षण मान्य करता है कि उम्मीदवार आवश्यकताओं को पूरा करते हैं।

अपेक्षित लोड स्तरों और उससे आगे परीक्षण करें। कॉन्फ़िगरेशन जो हल्के लोड पर अच्छा प्रदर्शन करते हैं, पूर्ण उपयोग पर संघर्ष कर सकते हैं। स्ट्रेस टेस्टिंग प्रोडक्शन डिप्लॉयमेंट से पहले क्षमता सीमाओं को प्रकट करती है।

उम्मीदवारों में लागत दक्षता मापें। 3x थ्रूपुट प्रदान करने वाला अधिक महंगा GPU कम थ्रूपुट पर सस्ते GPU की तुलना में प्रति इन्फरेंस कम खर्च कर सकता है। स्वामित्व की कुल लागत विश्लेषण अंतिम चयन का मार्गदर्शन करता है।

ऑटोस्केलिंग और डायनामिक आवंटन

स्टैटिक राइट-साइज़िंग कम-मांग अवधि के दौरान संसाधनों को निष्क्रिय छोड़ देती है। डायनामिक आवंटन वास्तविक मांग से मेल खाने के लिए संसाधनों को समायोजित करता है।

Horizontal Pod Autoscaling

Kubernetes Horizontal Pod Autoscaler (HPA) मेट्रिक्स के आधार पर रेप्लिका गणना को स्केल करता है।[^10] GPU उपयोग मेट्रिक्स स्केलिंग निर्णयों को ट्रिगर करते हैं। अधिक रेप्लिका बढ़े हुए लोड को संभालते हैं जबकि कम रेप्लिका शांत अवधि के दौरान लागत कम करते हैं।

GPU-जागरूक ऑटोस्केलिंग के लिए उपयुक्त मेट्रिक स्रोतों की आवश्यकता होती है। NVIDIA DCGM GPU मेट्रिक्स प्रदान करता है जिसे HPA Prometheus एडेप्टर के माध्यम से उपभोग कर सकता है। GPU से HPA तक मेट्रिक्स पाइपलाइन स्केलिंग प्रतिक्रियाशीलता निर्धारित करती है।

KEDA और इवेंट-ड्रिवन स्केलिंग

KEDA (Kubernetes Event-Driven Autoscaling) बाहरी मेट्रिक्स और क्यू लंबाई के आधार पर स्केलिंग को सक्षम बनाता है।[^11] इन्फरेंस वर्कलोड GPU उपयोग के बजाय अनुरोध क्यू गहराई के आधार पर स्केल कर सकते हैं। इवेंट-ड्रिवन दृष्टिकोण बर्स्टी वर्कलोड के लिए अधिक प्रतिक्रियाशील स्केलिंग प्रदान करता है।

KEDA निष्क्रिय वर्कलोड से कोटा का दावा करके कोटा की स्वचालित रिलीज़ की सुविधा देता है। जब कोई वर्कलोड समाप्त हो जाता है लेकिन हटाया नहीं जाता है, KEDA निष्क्रिय मेट्रिक्स की निगरानी करता है और शून्य रेप्लिका तक स्केल-डाउन ट्रिगर करता है, जिससे परिचालन लागत में काफी कमी आती है।[^11]

GPU-जागरूक शेड्यूलर

बुद्धिमान शेड्यूलर वर्कलोड रखते समय GPU टोपोलॉजी पर विचार करते हैं। मल्टी-GPU जॉब्स NVLink कनेक्टिविटी वाले GPU से लाभान्वित होते हैं। शेड्यूलर संसाधन उपलब्धता के साथ इंटरकनेक्ट टोपोलॉजी पर विचार करता है।

Fujitsu का AI Computing Broker रनटाइम-जागरूक ऑर्केस्ट्रेशन को नियोजित करता है, वास्तविक समय में वर्कलोड की निगरानी करता है और जहां सबसे अधिक आवश्यकता होती है वहां गतिशील रूप से GPU आवंटित करता है।[^12] यह दृष्टिकोण स्टैटिक आवंटन से निरंतर अनुकूलन की ओर एक मौलिक पुनर्विचार का प्रतिनिधित्व करता है।

सामान्य राइट-साइज़िंग गलतियां

संगठन पूर्वानुमानित गलतियां करते हैं जिनसे उचित पद्धति बचाती है।

ओवर-प्रोविज़निंग

टीमें अक्सर "सुरक्षित रहने के लिए" सबसे बड़ा उपलब्ध GPU निर्दिष्ट करती हैं, जो उन वर्कलोड पर पर्याप्त संसाधनों को बर्बाद करता है जिन्हें उनकी आवश्यकता नहीं है। H100 पर तैनात L4 पर अच्छी तरह से चलने वाला मॉडल पैसे और दुर्लभ हाई-एंड GPU क्षमता दोनों को बर्बाद करता है।

ओवर-प्रोविज़निंग अक्सर अपर्याप्त प्रोफाइलिंग का परिणाम है। टीमें मापन के बिना मान लेती हैं कि वर्कलोड को जितनी आवश्यकता है उससे अधिक की आवश्यकता है। प्रोफाइलिंग वास्तविक आवश्यकताओं को प्रकट करती है जो अक्सर उच्च आवश्यकताओं की अपेक्षा करने वाली टीमों को आश्चर्यचकित करती हैं।

अंडर-प्रोविज़निंग

अंडरसाइज़्ड कॉन्फ़िगरेशन जो तकनीकी रूप से चलते हैं लेकिन प्रदर्शन लक्ष्यों को चूक जाते हैं, चल रही परिचालन समस्याओं का कारण बनते हैं। टीमें प्रारंभिक साइज़िंग गलतियों को स्वीकार करने के बजाय धीमी ट्रेनिंग या उच्च इन्फरेंस लेटेंसी को स्वीकार करती हैं।

मेमोरी बाधाएं जो अत्यधिक ऑफलोडिंग या छोटे बैच साइज़ को मजबूर करती हैं, प्रभावी थ्रूपुट को कम करती हैं। थोड़ा बड़ा GPU इन बाधाओं को समाप्त करके नाटकीय रूप से बेहतर प्रदर्शन प्रदान कर सकता है।

कुल सिस्टम संतुलन की अनदेखी

CPU, स्टोरेज, और नेटवर्क को अनदेखा करते हुए केवल GPU स्पेक्स पर ध्यान केंद्रित करना सिस्टम बॉटलनेक बनाता है। डेटा लोडिंग जो GPU को फीड नहीं रख सकती, GPU क्षमता को बर्बाद करती है। वितरित ट्रेनिंग के दौरान नेटवर्क बॉटलनेक प्रभावी स्केलिंग को कम करते हैं।

लगभग 40% टीमें अंडर-प्रोविज़न

[अनुवाद के लिए सामग्री काट दी गई]