Spot Instances और Preemptible GPUs: AI लागत में 70% कटौती

अपडेटेड 8 दिसम्बर, 2025

दिसम्बर 2025 अपडेट: Supply constraints के कम होने से spot और on-demand GPU prices में काफी कमी आई है। AWS ने जून 2025 में on-demand H100 prices में 44% कटौती की है (~$3.90/hr तक), जिससे spot premium advantage कम हो गया है। Hyperbolic जैसे budget providers H100 को $1.49/hr और H200 को $2.15/hr पर offer करते हैं, जो अक्सर traditional spot pricing के साथ competitive होते हैं। GPU rental market 2023-2032 के दौरान $3.34B से बढ़कर $33.9B तक पहुंचने की उम्मीद है। जबकि spot instances अभी भी interruptible workloads के लिए savings offer करते हैं, calculation बदल गई है—on-demand अब अधिक use cases के लिए समझदारी की बात है, और नए budget cloud providers ने traditional spot economics को disrupt कर दिया है।

Spotify ने अपने machine learning infrastructure की लागत $8.2 million से घटाकर $2.4 million सालाना कर दी है, अपने पूरे recommendation engine training pipeline को AWS Spot instances के आसपास architect करके, यह सिद्ध करते हुए कि interruptible GPUs production AI workloads को power कर सकते हैं।¹ समस्या यह है: उनके p4d.24xlarge instances 2-minute warning के साथ गायब हो जाते हैं जब भी AWS को capacity वापस चाहिए, टीम को हर 5 मिनट में checkpoint करने और critical jobs के लिए triple redundancy maintain करने को मजबूर करते हैं। Spot instance orchestration में महारत हासिल करने वाले organizations on-demand pricing की तुलना में 70-91% cost reductions हासिल करते हैं, लेकिन जो naively deploy करते हैं वे unexpected terminations के कारण training progress के हफ्ते खो देते हैं।²

AWS Spot, Google Cloud Preemptible VMs, और Azure Spot VMs massive discounts पर identical hardware offer करते हैं क्योंकि cloud providers excess capacity बेचते हैं जो किसी भी समय गायब हो सकती है।³ 8 H100 GPUs वाला एक p5.48xlarge instance on-demand में $98.32 per hour cost करता है लेकिन Spot पर औसतन $19.66 है—80% discount जो AI economics को transform कर देती है।⁴ यह model काम करता है क्योंकि cloud providers maintenance, failures, और demand spikes के लिए 15-30% spare capacity maintain करते हैं, otherwise idle resources को monetize करते हुए उन्हें instantly reclaim करने का अधिकार रखते हैं।

Interruptible GPU capacity की economics

Cloud providers spot instances को continuous auctions के through price करते हैं जहाँ prices supply और demand के based पर fluctuate होती हैं। AWS Spot prices GPU instances के लिए on-demand rates से 70% से 91% तक कम vary करती हैं, ml.p4d.24xlarge instances $32.77 on-demand price के against $3.90 से $29.49 per hour तक range करते हैं।⁵ Google Preemptible GPUs fixed 60-80% discounts offer करते हैं लेकिन demand के regardless maximum 24 hours बाद terminate हो जाते हैं।⁶ Azure Spot similar 60-90% discounts provide करता है configurable maximum prices के साथ जो bill shock को prevent करती हैं।

सबसे गहरी discounts कम popular regions और older GPU generations में दिखाई देती हैं। US-West-2 spot prices demand concentration के कारण US-East-2 से 20% अधिक चलती हैं। V100 instances 91% discounts achieve करते हैं जबकि newer H100s शायद ही कभी 75% discounts exceed करते हैं। Night और weekend periods 10-15% additional savings offer करते हैं जब enterprise workloads decrease होते हैं। Smart orchestration इन patterns को exploit करती है, workloads को regions और time zones के across migrate करके costs को minimize करती है।

Interruption rates instance type, region, और time के हिसाब से dramatically vary करती हैं। 10 million spot instance hours का analysis reveal करता है:⁷ - A100 instances: 2.3% hourly interruption rate - V100 instances: 0.8% hourly interruption rate
- H100 instances: 4.1% hourly interruption rate - Weekend interruption rates: weekdays से 40% कम - US-East-1: US-West-2 से 3x अधिक interruption rate

Workload patterns जो spot instances पर thrive करते हैं

कुछ AI workloads naturally spot instance model को fit करते हैं:

Hyperparameter Tuning: Parameter spaces की parallel exploration individual job failures को tolerate करती है। हर experiment independently run होता है, इसलिए interruptions केवल single configurations को affect करते हैं। Optuna और Ray Tune automatically spot instance failures को handle करते हैं, terminated jobs को नए instances पर restart करते हुए।⁸ Organizations hyperparameter searches के लिए exclusively spot instances का उपयोग करके 75% cost savings report करते हैं।

Batch Inference: Millions images या documents को process करना कई instances में distribute होता है। Work queues completed versus pending items को track करते हैं। Interruptions simply unfinished work को queue में वापस कर देते हैं। Autoscaling groups automatically replacement instances launch करते हैं। Netflix daily 100 million thumbnails को spot instances का उपयोग करके process करता है, annually $3.2 million save करते हुए।⁹

Data Preprocessing: Training data के लिए ETL pipelines spot capacity से benefit करती हैं। Apache Spark जैसे frameworks automatically progress को checkpoint करते हैं। Interrupted tasks नए instances पर checkpoints से resume होते हैं। अधिकांश preprocessing की stateless nature spot instances को ideal बनाती है। Uber की feature engineering pipeline 90% spot instances पर run होती है।¹⁰

Development और Testing: Non-production environments interruptions को gracefully tolerate करते हैं। Developers experimentation के दौरान occasional disruptions expect करते हैं। Cost savings बड़े development clusters को enable करती हैं। CI/CD pipelines automatically failed jobs को retry करती हैं। GitHub Actions spot runners के लिए 70% कम pricing offer करता है।¹¹

Distributed Training with Checkpointing: Proper checkpointing strategies के साथ large model training feasible हो जाती है। Model state को हर 10-30 मिनट में durable storage में save करें। Instance fluctuations के दौरान effective batch sizes maintain करने के लिए gradient accumulation का उपयोग करें। Elastic training implement करें जो available instances के अनुसार adjust होती है। OpenAI ने early GPT models को 60% spot instances का उपयोग करके train किया।¹²

Interruption handling strategies

Successful spot instance usage sophisticated interruption management require करती है:

Checkpointing Frameworks: Regular intervals पर automatic checkpointing implement करें। PyTorch Lightning configurable checkpoint frequencies के साथ built-in spot instance support provide करती है।¹³ Model weights के alongside optimizer state, learning rate schedules, और random seeds को save करें। Durability के लिए checkpoints को object storage में store करें। नए instances पर seamlessly training resume करें।

Instance Diversification: Workloads को multiple instance types, availability zones, और regions में spread करें। AWS Spot Fleet automatically diverse capacity pools को manage करती है।¹⁴ Maximum availability के लिए 10-15 different instance types configure करें। Better availability के लिए slightly suboptimal instances accept करें। Smooth transitions के लिए 20% capacity buffer maintain करें।

Graceful Shutdown Handlers: AWS instance metadata service के via 2-minute termination notices provide करता है। Google 30-second Preemptible warnings देता है। Signal handlers implement करें जो termination notice पर immediate checkpointing trigger करते हैं। Shutdown से पहले logs और metrics को flush करें। Orphaned costs को prevent करने के लिए temporary resources को clean up करें।

Hybrid Architectures: Critical components के लिए spot instances को on-demand capacity के साथ combine करें। Workers spot use करते हुए parameter servers को on-demand पर run करें। Stable instances पर minimum viable capacity maintain करें। Additional throughput के लिए spot में burst करें। Price और availability signals के based पर spot capacity को scale करें।

Queue-Based Architectures: Message queues का उपयोग करके work scheduling को execution से decouple करें। Amazon SQS या Apache Kafka pending work को track करते हैं। Workers available होने पर tasks pull करते हैं। Completed work persistent storage को update करती है। Failed tasks retry के लिए queue में return होते हैं।

Production systems के लिए implementation patterns

Production-grade spot instance deployments proven patterns follow करती हैं:

Multi-Region Orchestration:

# Kubernetes Spot Instance Configuration
apiVersion: v1
kind: NodePool
spec:
  spotInstances:
    enabled: true
    maxPrice: 0.50  # Maximum hourly price
    regions:
      - us-east-1
      - us-west-2
      - eu-west-1
    instanceTypes:
      - g5.xlarge
      - g5.2xlarge
      - g4dn.xlarge
    diversificationStrategy: lowestPrice
    onDemandBaseCapacity: 2
    spotInstancePools: 10

Checkpoint Management: ```python class SpotTraining: def init(self): self.checkpoint_frequency = 600 # 10 minutes self.s3_bucket = "checkpoints"

def train(self):
    if self.detect_termination_notice():
        self.emergency_checkpoint()
        self.graceful_shutdown()

    if time.time() - self.last_checkpoint > self.checkpoint_frequency: