Spot Instances en Preemptible GPU's: AI-kosten met 70% verlagen

Bijgewerkt 8 december 2025

December 2025 Update: Spot en on-demand GPU prijzen zijn aanzienlijk geconvergeerd naarmate de aanbodschaarste afnam. AWS verlaagde de on-demand H100 prijzen met 44% in juni 2025 (naar ~$3.90/uur), waardoor het spot premium voordeel kleiner werd. Budgetaanbieders zoals Hyperbolic bieden H100 aan voor $1.49/uur en H200 voor $2.15/uur, vaak concurrerend met traditionele spot pricing. De GPU-huurmarkt groeit van $3.34B naar $33.9B (2023-2032). Hoewel spot instances nog steeds besparingen bieden voor onderbreekbare workloads, is de berekening veranderd—on-demand is nu zinvol voor meer gebruiksscenario's, en nieuwe budget cloud providers hebben de traditionele spot economics verstoord.

Spotify verlaagde hun machine learning infrastructuurkosten van $8.2 miljoen naar $2.4 miljoen jaarlijks door hun volledige recommendation engine training pipeline te architecturen rond AWS Spot instances, wat bewijst dat onderbreekbare GPU's productie AI workloads kunnen ondersteunen.¹ Het addertje onder het gras: hun p4d.24xlarge instances verdwijnen met 2 minuten waarschuwing wanneer AWS de capaciteit terug nodig heeft, waardoor het team elke 5 minuten moet checkpointen en drievoudige redundantie moet onderhouden voor kritieke jobs. Organisaties die spot instance orkestratie beheersen behalen 70-91% kostenverlagingen vergeleken met on-demand pricing, maar degenen die naïef deployen verliezen weken trainingsvoortgang door onverwachte beëindigingen.²

AWS Spot, Google Cloud Preemptible VMs en Azure Spot VMs bieden identieke hardware met enorme kortingen omdat cloud providers overcapaciteit verkopen die elk moment kan verdwijnen.³ Een p5.48xlarge instance met 8 H100 GPU's kost $98.32 per uur on-demand maar gemiddeld $19.66 op Spot—een 80% korting die AI-economie transformeert.⁴ Het model werkt omdat cloud providers 15-30% reservecapaciteit aanhouden voor onderhoud, storingen en vraagpieken, waardoor ze anders inactieve resources monetiseren terwijl ze het recht behouden om ze onmiddellijk terug te nemen.

De economie van onderbreekbare GPU-capaciteit

Cloud providers prijzen spot instances via continue veilingen waar prijzen fluctueren op basis van vraag en aanbod. AWS Spot prijzen voor GPU instances variëren van 70% tot 91% onder on-demand tarieven, waarbij ml.p4d.24xlarge instances variëren van $3.90 tot $29.49 per uur tegen de $32.77 on-demand prijs.⁵ Google Preemptible GPU's bieden vaste 60-80% kortingen maar beëindigen na maximaal 24 uur ongeacht de vraag.⁶ Azure Spot biedt vergelijkbare 60-90% kortingen met configureerbare maximumprijzen die factuurshocks voorkomen.

De diepste kortingen verschijnen in minder populaire regio's en oudere GPU-generaties. US-West-2 spot prijzen zijn 20% hoger dan US-East-2 door vraagconcentratie. V100 instances behalen 91% kortingen terwijl nieuwere H100s zelden 75% kortingen overschrijden. Nacht- en weekendperiodes bieden 10-15% extra besparingen naarmate enterprise workloads afnemen. Slimme orkestratie exploiteert deze patronen door workloads te migreren over regio's en tijdzones om kosten te minimaliseren.

Onderbrekingspercentages variëren dramatisch per instance type, regio en tijd. Analyse van 10 miljoen spot instance uren onthult:⁷ - A100 instances: 2.3% uurlijks onderbrekingspercentage - V100 instances: 0.8% uurlijks onderbrekingspercentage - H100 instances: 4.1% uurlijks onderbrekingspercentage - Weekend onderbrekingspercentages: 40% lager dan doordeweeks - US-East-1: 3x hoger onderbrekingspercentage dan US-West-2

Workload patronen die gedijen op spot instances

Bepaalde AI workloads passen van nature bij het spot instance model:

Hyperparameter Tuning: Parallelle exploratie van parameterruimtes tolereert individuele job failures. Elk experiment draait onafhankelijk, dus onderbrekingen beïnvloeden alleen enkele configuraties. Optuna en Ray Tune handelen spot instance failures automatisch af, door beëindigde jobs op nieuwe instances te herstarten.⁸ Organisaties rapporteren 75% kostenbesparing voor hyperparameter zoekopdrachten met exclusief spot instances.

Batch Inference: Verwerking van miljoenen afbeeldingen of documenten distribueert over vele instances. Work queues tracken voltooide versus lopende items. Onderbrekingen retourneren simpelweg onafgewerkt werk naar de queue. Autoscaling groups lanceren automatisch vervangende instances. Netflix verwerkt 100 miljoen thumbnails dagelijks met spot instances, wat $3.2 miljoen jaarlijks bespaart.⁹

Data Preprocessing: ETL pipelines voor trainingsdata profiteren van spot capaciteit. Frameworks zoals Apache Spark checkpointen automatisch voortgang. Onderbroken taken hervatten van checkpoints op nieuwe instances. De stateless aard van meeste preprocessing maakt spot instances ideaal. Uber's feature engineering pipeline draait 90% op spot instances.¹⁰

Development en Testing: Non-productieomgevingen tolereren onderbrekingen gracievol. Developers verwachten occasionele verstoringen tijdens experimentatie. Kostenbesparingen maken grotere development clusters mogelijk. CI/CD pipelines proberen gefaalde jobs automatisch opnieuw. GitHub Actions biedt 70% lagere prijzen voor spot runners.¹¹

Distributed Training met Checkpointing: Large model training wordt haalbaar met juiste checkpointing strategieën. Sla modelstatus elke 10-30 minuten op naar duurzame opslag. Gebruik gradient accumulation om effectieve batch sizes te behouden tijdens instance fluctuaties. Implementeer elastic training die aanpast aan beschikbare instances. OpenAI trainde vroege GPT modellen met 60% spot instances.¹²

Onderbrekingsafhandelingsstrategieën

Succesvol spot instance gebruik vereist geavanceerd onderbrekingsmanagement:

Checkpointing Frameworks: Implementeer automatisch checkpointen op reguliere intervallen. PyTorch Lightning biedt ingebouwde spot instance ondersteuning met configureerbare checkpoint frequenties.¹³ Sla optimizer status, learning rate schedules en random seeds op naast modelgewichten. Sla checkpoints op in object storage voor duurzaamheid. Hervat training naadloos op nieuwe instances.

Instance Diversificatie: Spreid workloads over meerdere instance types, availability zones en regio's. AWS Spot Fleet beheert automatisch diverse capaciteitspools.¹⁴ Configureer 10-15 verschillende instance types om beschikbaarheid te maximaliseren. Accepteer licht suboptimale instances voor betere beschikbaarheid. Onderhoud 20% capaciteitsbuffer voor soepele transities.

Graceful Shutdown Handlers: AWS biedt 2-minuten beëindigingswaarschuwingen via instance metadata service. Google geeft 30-seconden Preemptible waarschuwingen. Implementeer signal handlers die onmiddellijk checkpointen triggeren bij beëindigingswaarschuwing. Flush logs en metrics voor shutdown. Ruim tijdelijke resources op om zwerfkosten te voorkomen.

Hybride Architecturen: Combineer spot instances met on-demand capaciteit voor kritieke componenten. Draai parameter servers on-demand terwijl workers spot gebruiken. Onderhoud minimum viable capacity op stabiele instances. Burst naar spot voor extra doorvoer. Schaal spot capaciteit op basis van prijs- en beschikbaarheidssignalen.

Queue-Based Architecturen: Ontkoppel workplanning van uitvoering met message queues. Amazon SQS of Apache Kafka tracken lopend werk. Workers halen taken op wanneer beschikbaar. Voltooid werk updatet persistente opslag. Gefaalde taken keren terug naar queue voor retry.

Implementatiepatronen voor productiesystemen

Productiekwaliteit spot instance deployments volgen bewezen patronen:

Multi-Region Orkestratie:

# Kubernetes Spot Instance Configuration
apiVersion: v1
kind: NodePool
spec:
  spotInstances:
    enabled: true
    maxPrice: 0.50  # Maximum uurprijs
    regions:
      - us-east-1
      - us-west-2
      - eu-west-1
    instanceTypes:
      - g5.xlarge
      - g5.2xlarge
      - g4dn.xlarge
    diversificationStrategy: lowestPrice
    onDemandBaseCapacity: 2
    spotInstancePools: 10

Checkpoint Management: ```python class SpotTraining: def init(self): self.checkpoint_frequency = 600 # 10 minuten self.s3_bucket = "checkpoints"

def train(self):
    if self.detect_termination_notice():
        self.emergency_checkpoint()
        self.graceful_shutdown()

    if time.time() - self.last_checkpoint > self.checkpoint_frequency: