Spot Instances та Preemptible GPU: Скорочення витрат на AI на 70%

Оновлено 8 грудня 2025

Оновлення грудень 2025: Ціни на spot та on-demand GPU значно зблизилися через зменшення обмежень пропозиції. AWS скоротив ціни on-demand H100 на 44% у червні 2025 року (до ~$3.90/год), звузивши переваги spot премії. Бюджетні провайдери як Hyperbolic пропонують H100 за $1.49/год та H200 за $2.15/год, часто конкуруючи з традиційними spot цінами. Ринок оренди GPU зростає з $3.34B до $33.9B (2023-2032). Хоча spot instances все ще пропонують економію для переривних навантажень, розрахунок змінився—on-demand тепер має сенс для більшої кількості випадків використання, а нові бюджетні хмарні провайдери порушили традиційну економіку spot.

Spotify скоротив витрати на інфраструктуру машинного навчання з $8.2 мільйонів до $2.4 мільйонів щорічно, архітектурно побудувавши весь свій пайплайн навчання рекомендаційного движка навколо AWS Spot instances, довівши, що переривні GPU можуть забезпечувати продакшн AI навантаження.¹ Загвоздка: їхні p4d.24xlarge instances зникають з попередженням за 2 хвилини щоразу, коли AWS потребує повернути ємність, змушуючи команду робити checkpoint кожні 5 хвилин та підтримувати потрійне резервування для критичних завдань. Організації, які освоюють оркестрацію spot instances, досягають 70-91% скорочення витрат порівняно з on-demand ціноутворенням, але ті, хто розгортає невміло, втрачають тижні прогресу навчання через несподівані припинення.²

AWS Spot, Google Cloud Preemptible VMs та Azure Spot VMs пропонують ідентичне обладнання з масивними знижками, оскільки хмарні провайдери продають надлишкову ємність, яка може зникнути в будь-який момент.³ Інстанс p5.48xlarge з 8 H100 GPU коштує $98.32 за годину on-demand, але в середньому $19.66 на Spot—80% знижка, що трансформує економіку AI.⁴ Модель працює, тому що хмарні провайдери підтримують 15-30% запасної ємності для обслуговування, збоїв та сплесків попиту, монетизуючи інакше простоюючі ресурси, зберігаючи право миттєво повернути їх.

Економіка переривної GPU ємності

Хмарні провайдери ціноутворюють spot instances через безперервні аукціони, де ціни коливаються залежно від попиту та пропозиції. AWS Spot ціни на GPU instances варіюються від 70% до 91% нижче від on-demand ставок, з ml.p4d.24xlarge instances у діапазоні від $3.90 до $29.49 за годину проти $32.77 on-demand ціни.⁵ Google Preemptible GPU пропонують фіксовані 60-80% знижки, але припиняють роботу після максимум 24 годин незалежно від попиту.⁶ Azure Spot надає аналогічні 60-90% знижки з настроюваними максимальними цінами, що запобігають шоку від рахунків.

Найглибші знижки з'являються у менш популярних регіонах та старших поколіннях GPU. US-West-2 spot ціни на 20% вищі за US-East-2 через концентрацію попиту. V100 instances досягають 91% знижки, тоді як новіші H100 рідко перевищують 75% знижки. Нічні та вихідні періоди пропонують додаткові 10-15% економії через зменшення корпоративних навантажень. Розумна оркестрація використовує ці паттерни, мігруючи навантаження через регіони та часові зони для мінімізації витрат.

Частота переривань значно варіює за типом інстансу, регіоном та часом. Аналіз 10 мільйонів годин spot instances показує:⁷ - A100 instances: 2.3% годинна частота переривань - V100 instances: 0.8% годинна частота переривань
- H100 instances: 4.1% годинна частота переривань - Частота переривань у вихідні: на 40% нижча ніж у будні - US-East-1: в 3 рази вища частота переривань ніж US-West-2

Паттерни навантажень, які процвітають на spot instances

Певні AI навантаження природно підходять до моделі spot instances:

Налаштування гіперпараметрів: Паралельне дослідження просторів параметрів толерує збої окремих завдань. Кожен експеримент виконується незалежно, тому переривання впливають лише на окремі конфігурації. Optuna та Ray Tune автоматично обробляють збої spot instances, перезапускаючи припинені завдання на нових інстансах.⁸ Організації звітують про 75% економію витрат для пошуку гіперпараметрів, використовуючи виключно spot instances.

Batch виведення: Обробка мільйонів зображень або документів розподіляється між багатьма інстансами. Черги роботи відстежують завершені проти очікуючих елементів. Переривання просто повертають незавершену роботу до черги. Групи автомасштабування автоматично запускають замінні інстанси. Netflix обробляє 100 мільйонів мініатюр щодня, використовуючи spot instances, економлячи $3.2 мільйона щорічно.⁹

Попередня обробка даних: ETL пайплайни для навчальних даних отримують вигоду від spot ємності. Фреймворки як Apache Spark автоматично роблять checkpoint прогресу. Перервані завдання відновлюються з checkpoints на нових інстансах. Stateless природа більшості попередньої обробки робить spot instances ідеальними. Пайплайн feature engineering Uber працює на 90% на spot instances.¹⁰

Розробка та тестування: Непродакшн середовища граціозно толерують переривання. Розробники очікують періодичні порушення під час експериментів. Економія витрат дозволяє більші кластери розробки. CI/CD пайплайни автоматично повторюють невдалі завдання. GitHub Actions пропонує на 70% нижче ціноутворення для spot runners.¹¹

Розподілене навчання з checkpointing: Навчання великих моделей стає можливим з правильними стратегіями checkpointing. Зберігайте стан моделі кожні 10-30 хвилин у довговічному сховищі. Використовуйте акумуляцію градієнтів для підтримки ефективних розмірів batch під час коливань інстансів. Впроваджуйте elastic навчання, що пристосовується до доступних інстансів. OpenAI навчав ранні GPT моделі, використовуючи 60% spot instances.¹²

Стратегії обробки переривань

Успішне використання spot instances потребує складного управління перериваннями:

Фреймворки checkpointing: Впроваджуйте автоматичний checkpointing через регулярні інтервали. PyTorch Lightning забезпечує вбудовану підтримку spot instances з настроюваними частотами checkpoint.¹³ Зберігайте стан оптимізатора, розклади learning rate та випадкові seeds разом з вагами моделі. Зберігайте checkpoints в об'єктному сховищі для довговічності. Безшовно відновлюйте навчання на нових інстансах.

Диверсифікація інстансів: Розподіляйте навантаження між кількома типами інстансів, зонами доступності та регіонами. AWS Spot Fleet автоматично управляє різноманітними пулами ємності.¹⁴ Налаштуйте 10-15 різних типів інстансів для максимізації доступності. Приймайте дещо субоптимальні інстанси для кращої доступності. Підтримуйте 20% буфер ємності для плавних переходів.

Graceful shutdown handlers: AWS надає 2-хвилинні повідомлення про припинення через службу метаданих інстансу. Google дає 30-секундні Preemptible попередження. Впроваджуйте обробники сигналів, що запускають негайний checkpointing при повідомленні про припинення. Flush логи та метрики перед вимкненням. Очищайте тимчасові ресурси для запобігання сирітським витратам.

Гібридні архітектури: Комбінуйте spot instances з on-demand ємністю для критичних компонентів. Запускайте параметричні сервери на on-demand, тоді як workers використовують spot. Підтримуйте мінімальну життєздатну ємність на стабільних інстансах. Burst до spot для додаткової пропускної спроможності. Масштабуйте spot ємність на основі сигналів ціни та доступності.

Архітектури на основі черг: Відокремлюйте планування роботи від виконання за допомогою черг повідомлень. Amazon SQS або Apache Kafka відстежують очікувану роботу. Workers забирають завдання коли доступні. Завершена робота оновлює постійне сховище. Невдалі завдання повертаються до черги для повтору.

Паттерни реалізації для продакшн систем

Продакшн-готові розгортання spot instances дотримуються перевірених паттернів:

Мульти-регіональна оркестрація:

# Kubernetes Spot Instance Configuration
apiVersion: v1
kind: NodePool
spec:
  spotInstances:
    enabled: true
    maxPrice: 0.50  # Maximum hourly price
    regions:
      - us-east-1
      - us-west-2
      - eu-west-1
    instanceTypes:
      - g5.xlarge
      - g5.2xlarge
      - g4dn.xlarge
    diversificationStrategy: lowestPrice
    onDemandBaseCapacity: 2
    spotInstancePools: 10

Управління checkpoint:

class SpotTraining:
    def __init__(self):
        self.checkpoint_frequency = 600  # 10 minutes
        self.s3_bucket = "checkpoints"

    def train(self):
        if self.detect_termination_notice():
            self.emergency_checkpoint()
            self.graceful_shutdown()

        if time.time() - self.last_checkpoint > self.checkpoint_frequency: