Spot Instance dan GPU Preemptible: Memangkas Biaya AI hingga 70%

Diperbarui 8 Desember 2025

Pembaruan Desember 2025: Harga GPU spot dan on-demand telah konvergen secara signifikan karena kendala pasokan mereda. AWS memotong harga on-demand H100 sebesar 44% pada Juni 2025 (hingga ~$3.90/jam), mempersempit keunggulan premium spot. Penyedia budget seperti Hyperbolic menawarkan H100 dengan harga $1.49/jam dan H200 dengan $2.15/jam, seringkali kompetitif dengan harga spot tradisional. Pasar rental GPU sedang berkembang dari $3.34B menjadi $33.9B (2023-2032). Meskipun spot instance masih menawarkan penghematan untuk workload yang dapat terinterupsi, kalkulasinya telah bergeser—on-demand sekarang masuk akal untuk lebih banyak use case, dan penyedia cloud budget baru telah mengganggu ekonomi spot tradisional.

Spotify berhasil mengurangi biaya infrastruktur machine learning mereka dari $8.2 juta menjadi $2.4 juta per tahun dengan merancang seluruh pipeline training recommendation engine mereka di sekitar AWS Spot instance, membuktikan bahwa GPU yang dapat terinterupsi dapat menggerakkan workload AI produksi.¹ Tantangannya: instance p4d.24xlarge mereka menghilang dengan peringatan 2 menit ketika AWS membutuhkan kapasitas kembali, memaksa tim untuk checkpoint setiap 5 menit dan mempertahankan redundansi tiga kali lipat untuk job kritis. Organisasi yang menguasai orkestrasi spot instance mencapai pengurangan biaya 70-91% dibandingkan harga on-demand, tetapi mereka yang deploy secara naif kehilangan minggu-minggu training progress karena terminasi tak terduga.²

AWS Spot, Google Cloud Preemptible VMs, dan Azure Spot VMs menawarkan hardware identik dengan diskon besar karena penyedia cloud menjual kelebihan kapasitas yang mungkin menghilang kapan saja.³ Instance p5.48xlarge dengan 8 GPU H100 berharga $98.32 per jam on-demand tetapi rata-rata $19.66 di Spot—diskon 80% yang mengubah ekonomi AI.⁴ Model ini bekerja karena penyedia cloud mempertahankan 15-30% kapasitas cadangan untuk maintenance, kegagalan, dan lonjakan permintaan, memonetisasi resource yang menganggur sambil mempertahankan hak untuk mengklaimnya kembali secara instan.

Ekonomi kapasitas GPU yang dapat terinterupsi

Penyedia cloud menetapkan harga spot instance melalui lelang berkelanjutan di mana harga berfluktuasi berdasarkan penawaran dan permintaan. Harga AWS Spot untuk instance GPU bervariasi dari 70% hingga 91% di bawah tarif on-demand, dengan instance ml.p4d.24xlarge berkisar dari $3.90 hingga $29.49 per jam dibandingkan harga on-demand $32.77.⁵ Google Preemptible GPU menawarkan diskon tetap 60-80% tetapi berakhir setelah maksimal 24 jam terlepas dari permintaan.⁶ Azure Spot menyediakan diskon serupa 60-90% dengan harga maksimum yang dapat dikonfigurasi untuk mencegah kejutan tagihan.

Diskon terdalam muncul di region yang kurang populer dan generasi GPU lama. Harga spot US-West-2 berjalan 20% lebih tinggi daripada US-East-2 karena konsentrasi permintaan. Instance V100 mencapai diskon 91% sementara H100 yang lebih baru jarang melebihi diskon 75%. Periode malam dan akhir pekan menawarkan penghematan tambahan 10-15% karena workload enterprise menurun. Orkestrasi cerdas memanfaatkan pola-pola ini, memigrasikan workload lintas region dan zona waktu untuk meminimalkan biaya.

Tingkat interupsi bervariasi dramatis berdasarkan jenis instance, region, dan waktu. Analisis 10 juta jam spot instance mengungkapkan:⁷ - Instance A100: tingkat interupsi per jam 2.3% - Instance V100: tingkat interupsi per jam 0.8% - Instance H100: tingkat interupsi per jam 4.1% - Tingkat interupsi akhir pekan: 40% lebih rendah dari hari kerja - US-East-1: tingkat interupsi 3x lebih tinggi dari US-West-2

Pola workload yang berkembang di spot instance

Workload AI tertentu secara alami cocok dengan model spot instance:

Hyperparameter Tuning: Eksplorasi paralel ruang parameter mentolerir kegagalan job individual. Setiap eksperimen berjalan independen, sehingga interupsi hanya mempengaruhi konfigurasi tunggal. Optuna dan Ray Tune secara otomatis menangani kegagalan spot instance, memulai ulang job yang diterminasi di instance baru.⁸ Organisasi melaporkan penghematan biaya 75% untuk pencarian hyperparameter menggunakan spot instance secara eksklusif.

Batch Inference: Memproses jutaan gambar atau dokumen terdistribusi di banyak instance. Work queue melacak item yang selesai versus pending. Interupsi hanya mengembalikan pekerjaan yang belum selesai ke queue. Autoscaling group meluncurkan instance pengganti secara otomatis. Netflix memproses 100 juta thumbnail setiap hari menggunakan spot instance, menghemat $3.2 juta per tahun.⁹

Data Preprocessing: Pipeline ETL untuk training data mendapat manfaat dari kapasitas spot. Framework seperti Apache Spark melakukan checkpoint progress secara otomatis. Task yang terinterupsi melanjutkan dari checkpoint di instance baru. Sifat stateless dari sebagian besar preprocessing membuat spot instance ideal. Pipeline feature engineering Uber berjalan 90% di spot instance.¹⁰

Development dan Testing: Environment non-produksi mentolerir interupsi dengan baik. Developer mengharapkan gangguan sesekali selama eksperimentasi. Penghematan biaya memungkinkan cluster development yang lebih besar. Pipeline CI/CD mencoba ulang job yang gagal secara otomatis. GitHub Actions menawarkan harga 70% lebih rendah untuk spot runner.¹¹

Distributed Training dengan Checkpointing: Training model besar menjadi layak dengan strategi checkpointing yang tepat. Simpan state model setiap 10-30 menit ke storage yang tahan lama. Gunakan gradient accumulation untuk mempertahankan ukuran batch efektif selama fluktuasi instance. Implementasikan elastic training yang menyesuaikan dengan instance yang tersedia. OpenAI melatih model GPT awal menggunakan 60% spot instance.¹²

Strategi penanganan interupsi

Penggunaan spot instance yang berhasil memerlukan manajemen interupsi yang canggih:

Framework Checkpointing: Implementasikan checkpointing otomatis pada interval reguler. PyTorch Lightning menyediakan dukungan spot instance built-in dengan frekuensi checkpoint yang dapat dikonfigurasi.¹³ Simpan state optimizer, jadwal learning rate, dan random seed bersama dengan bobot model. Simpan checkpoint di object storage untuk durabilitas. Lanjutkan training dengan mulus di instance baru.

Diversifikasi Instance: Sebarkan workload di berbagai jenis instance, availability zone, dan region. AWS Spot Fleet secara otomatis mengelola beragam pool kapasitas.¹⁴ Konfigurasi 10-15 jenis instance berbeda untuk memaksimalkan ketersediaan. Terima instance yang sedikit suboptimal untuk ketersediaan yang lebih baik. Pertahankan buffer kapasitas 20% untuk transisi yang mulus.

Handler Shutdown yang Ramah: AWS menyediakan pemberitahuan terminasi 2 menit melalui instance metadata service. Google memberikan peringatan Preemptible 30 detik. Implementasikan signal handler yang memicu checkpointing segera saat pemberitahuan terminasi. Flush log dan metrik sebelum shutdown. Bersihkan resource sementara untuk mencegah biaya yang terlantar.

Arsitektur Hybrid: Kombinasikan spot instance dengan kapasitas on-demand untuk komponen kritis. Jalankan parameter server di on-demand sementara worker menggunakan spot. Pertahankan kapasitas minimal yang layak di instance stabil. Burst ke spot untuk throughput tambahan. Skala kapasitas spot berdasarkan sinyal harga dan ketersediaan.

Arsitektur Berbasis Queue: Pisahkan penjadwalan kerja dari eksekusi menggunakan message queue. Amazon SQS atau Apache Kafka melacak pekerjaan yang tertunda. Worker mengambil task ketika tersedia. Pekerjaan yang selesai memperbarui storage persisten. Task yang gagal kembali ke queue untuk retry.

Pola implementasi untuk sistem produksi

Deployment spot instance tingkat produksi mengikuti pola yang terbukti:

Orkestrasi Multi-Region:

# Konfigurasi Spot Instance Kubernetes
apiVersion: v1
kind: NodePool
spec:
  spotInstances:
    enabled: true
    maxPrice: 0.50  # Harga maksimal per jam
    regions:
      - us-east-1
      - us-west-2
      - eu-west-1
    instanceTypes:
      - g5.xlarge
      - g5.2xlarge
      - g4dn.xlarge
    diversificationStrategy: lowestPrice
    onDemandBaseCapacity: 2
    spotInstancePools: 10

Manajemen Checkpoint: ```python class SpotTraining: def init(self): self.checkpoint_frequency = 600 # 10 menit self.s3_bucket = "checkpoints"

def train(self):
    if self.detect_termination_notice():
        self.emergency_checkpoint()
        self.graceful_shutdown()

    if time.time() - self.last_checkpoint > self.checkpoint_frequency:
        self.checkpoint()