Економіка інференсу: Реальна вартість за мільйон токенів

Оновлено 8 грудня 2025 року

Оновлення за грудень 2025: Вартість інференсу LLM знижувалася в 10 разів щорічно — швидше, ніж обчислювальна потужність ПК під час революції мікропроцесорів чи пропускна здатність інтернету під час буму доткомів. Продуктивність рівня GPT-4 тепер коштує $0,40/мільйон токенів порівняно з $20 наприкінці 2022 року. Ціни на хмарні H100 стабілізувалися на рівні $2,85-$3,50/годину після падіння на 64-75% від пікових значень. DeepSeek підірвав ринок, запропонувавши ціни на 90% нижчі за конкурентів. Самостійний хостинг окупається при завантаженні GPU понад 50% для моделей 7B та понад 10% для моделей 13B. Квантування знижує операційні витрати на 60-70%. Спекулятивне декодування зменшує затримку в 2-3 рази.

Ринок інференсу LLM не підкоряється традиційній технологічній економіці. Ціни падали швидше, ніж обчислювальна потужність ПК під час революції мікропроцесорів чи пропускна здатність інтернету під час буму доткомів — еквівалентна продуктивність коштує в 10 разів менше щороку.¹ Можливість, яка коштувала $20 за мільйон токенів наприкінці 2022 року, тепер коштує $0,40.² Проте організації досі намагаються зрозуміти свої реальні витрати на інференс, оскільки ціноутворення на рівні токенів приховує інфраструктурні реалії, завантаження GPU визначає фактичну економіку одиниці продукції, а техніки оптимізації створюють варіації ефективності витрат на порядок величини. Опанування економіки інференсу визначає, чи генерують ШІ-впровадження цінність, чи витрачають капітал даремно.

Ландшафт цін на інференс у грудні 2025 року

Ціни на API охоплюють три порядки величини залежно від можливостей моделі, провайдера та оптимізації. Розуміння поточного ландшафту забезпечує контекст для економічних рішень.

Моделі бюджетного рівня тепер коштують частки цента за мільйон токенів. Google Gemini Flash-Lite лідирує з $0,075 за мільйон вхідних токенів і $0,30 за мільйон вихідних токенів.³ Моделі з відкритим кодом через провайдерів на кшталт Together.ai або Hyperbolic досягають ще нижчих цін — Llama 3.2 3B працює за $0,06 за мільйон токенів, досягаючи показників MMLU 42 за 1/1000 вартості трирічної давності.⁴

Виробничі моделі середнього рівня балансують між можливостями та вартістю. Claude Sonnet 4 коштує $3 за мільйон вхідних токенів і $15 за мільйон вихідних токенів.⁵ Модель R1 від DeepSeek підірвала ринок ціною $0,55 за вхід і $2,19 за вихід на мільйон токенів — на 90% нижче за західних конкурентів при порівнянних можливостях міркування.⁶ Китайські провайдери послідовно пропонують нижчі ціни, ніж західні компанії, створюючи ціновий тиск, який вигідний усім покупцям.

Моделі передових можливостей коштують преміально. Claude Opus 4 коштує $15 за мільйон вхідних токенів і $75 за мільйон вихідних токенів.⁷ GPT-4 та подібні передові моделі мають схожі ціни, що виправдано можливостями, які менші моделі не можуть відтворити незалежно від оптимізації витрат.

Варіація між провайдерами додає складності. Для ідентичних моделей ціни різняться в 10 разів між найдешевшим і найдорожчим провайдерами.⁸ Одна модель може коштувати $0,90 за мільйон токенів у найдешевшого провайдера, $3,50 за медіанною ціною і $9,50 у найдорожчого. Порівняння пропозицій провайдерів суттєво впливає на економіку ще до будь-якої технічної оптимізації.

Асиметрія цін на вихідні токени відображає фактичні витрати. OpenAI, Anthropic і Google оцінюють вихідні токени в 3-5 разів дорожче за вхідні, оскільки генерація виходу вимагає послідовної обробки, тоді як обробка входу ефективно паралелізується.⁹ Застосунки, що генерують довгі відповіді, мають іншу економіку, ніж ті, що обробляють довгі входи з короткими відповідями.

Розуміння реальних витрат на GPU-інфраструктуру

За ціноутворенням API стоїть GPU-інфраструктура з власною структурою витрат. Розуміння цієї економіки дозволяє приймати обґрунтовані рішення щодо створення власної інфраструктури чи покупки послуг.

Витрати на придбання обладнання починаються високо і продовжують накопичуватися. GPU NVIDIA H100 коштують $25 000-$40 000 за карту, а повні серверні системи з 8 GPU досягають $200 000-$400 000 включно з інфраструктурою.¹⁰ Виробнича вартість NVIDIA становить приблизно $3 320 за H100 — різниця між виробничою вартістю та ціною продажу відображає маржу, зумовлену попитом, яка лише нещодавно почала знижуватися.

Ціни на оренду хмарних GPU стабілізувалися після різкого падіння. Екземпляри H100 SXM коштують від $1,49/годину (Hyperbolic) до $6,98/годину (Azure), більшість провайдерів пропонують $2,85-$3,50/годину після падіння на 64-75% від пікових цін.¹¹ Резервування потужностей знижує ціни ще більше — Lambda Labs пропонує $1,85/годину, а Hyperstack починає з $1,90/годину за умови зобов'язань.

Витрати на електроенергію та охолодження збільшують витрати на обладнання. Кожен H100 споживає до 700 Вт під навантаженням. Кластери з кількох GPU потребують спеціальних блоків розподілу живлення, що потенційно коштують $10 000-$50 000 для модернізації об'єктів.¹² Інфраструктура рідинного охолодження або вдосконалені системи HVAC додають $15 000-$100 000 залежно від масштабу. Ці витрати амортизуються протягом GPU-годин, але суттєво впливають на загальну економіку володіння.

Операційні накладні витрати заповнюють прогалину між орендою обладнання та фактичною вартістю. Врахування охолодження, приміщень і обслуговування додає приблизно $2-7 на годину до базових тарифів оренди GPU, збільшуючи реальну операційну вартість 8×H100 до $8-$15/годину при правильній амортизації.¹³ Організації, порівнюючи хмарну оренду з ціноутворенням API, повинні включати ці приховані витрати для коректного порівняння.

Рівняння завантаження, що визначає життєздатність

Завантаження GPU визначає, чи має самостійний хостинг інференсу економічний сенс. Оплата за GPU, що працює на 10% завантаження, перетворює $0,013 за тисячу токенів на $0,13 — дорожче за преміальні API.¹⁴

Аналіз точки беззбитковості залежить від розміру моделі та цільового завантаження. Хостинг моделі 7B вимагає приблизно 50% завантаження, щоб коштувати менше за GPT-3.5 Turbo.¹⁵ Модель 13B досягає паритету вартості з GPT-4-turbo при завантаженні лише 10%, оскільки премія за можливості більшої моделі виправдовує вищі інвестиції в інфраструктуру. Ключовий висновок: більші моделі досягають беззбитковості при нижчому завантаженні, оскільки вони замінюють дорожчі альтернативи API.

Патерни трафіку визначають досяжне завантаження. Організації з послідовними, передбачуваними навантаженнями досягають вищого завантаження, ніж ті, що мають спорадичний попит. Застосунки для споживачів із щоденними циклами трафіку витрачають потужність GPU в непікові години, якщо навантаження не можна перенести або інфраструктуру динамічно масштабувати.

Порогові значення обсягу запитів встановлюють мінімальний життєздатний масштаб. Аналіз показує, що потрібно понад 8 000 розмов на день, перш ніж самостійна інфраструктура коштуватиме менше за керовані рішення.¹⁶ Нижче цього порогу операційна складність і постійні витрати на самостійний хостинг переважують потенційну економію.

Можливості пакетної обробки покращують економіку завантаження. Організації з відкладеними навантаженнями — офлайн-аналіз, пакетні ембединги, обробка наборів даних — можуть агрегувати попит у вікна високого завантаження, покращуючи ефективне завантаження навіть при змінному трафіку в реальному часі. Поєднання навантажень реального часу та пакетних на спільній інфраструктурі оптимізує ефективність капіталу.

Розбивка структури витрат для виробничих впроваджень

Витрати на виробничий інференс розкладаються на компоненти, які оптимізація може адресувати індивідуально.

Завантаження моделі та пам'ять споживають фіксовані ресурси незалежно від трафіку. Модель із 70B параметрів у FP16 вимагає приблизно 140 ГБ пам'яті GPU — це перевищує ємність одного GPU і вимагає конфігурацій із кількох GPU.¹⁷ Витрати на пам'ять масштабуються з розміром моделі, а не з використанням, створюючи мінімальні пороги інфраструктури незалежно від обсягу трафіку.

Обчислення на токен визначає маржинальні витрати під час інференсу. Обчислення прямого проходу масштабується з архітектурою моделі — особливо механізми уваги для довгих контекстів. Витрати на обчислення знижуються з батчингом, оскільки матричні операції стають ефективнішими при більших розмірах батчів, амортизуючи накладні витрати на більше токенів.

Пам'ять KV-кешу зростає з довжиною контексту та кількістю одночасних запитів. Кожен активний запит підтримує кеші ключ-значення, які споживають пам'ять пропорційно довжині контексту. Застосунки з довгим контекстом стикаються з тиском на пам'ять, що обмежує одночасні запити, погіршуючи пропускну здатність і збільшуючи витрати на токен. Управління KV-кешем є основною метою оптимізації.

Мережевий та дисковий I/O впливає на багато-GPU та розподілені впровадження. Міжпроцесорна комунікація для тензорного паралелізму, завантаження ваг моделі зі сховища та передача результатів — усе це споживає ресурси. Високошвидкісні мережі (NVLink, InfiniBand) зменшують вузькі місця I/O, але збільшують інвестиції в інфраструктуру.

Операційні накладні витрати включають моніторинг, логування, безпеку та управління. Виробничі системи потребують інфраструктури спостережуваності, чергового персоналу та постійних зусиль з оптимізації. Організації часто недооцінюють ці "м'які" витрати при порівнянні самостійного хостингу з альтернативами API.

Техніки оптимізації, що трансформують економіку

Технічні оптимізації можуть знизити витрати на інференс на 60-70% і більше, перетворюючи маржинальну економіку на стійкі переваги.¹⁸

Квантування знижує точність ваг моделі з 32-бітної з плаваючою комою до 8-бітних або 4-бітних представлень. Техніка зменшує розмір моделі в 4-8 разів при збереженні прийнятної точності.¹⁹ 8-бітне квантування зменшує використання пам'яті на 50% з приблизно 1% втрати точності. 4-бітне квантування досягає 75% зменшення розміру, зберігаючи конкурентну продуктивність для багатьох застосунків. Підтримка FP4 у GPU Blackwell дозволяє отримати 4-кратний приріст продуктивності лише від квантування.

Безперервний батчинг групує запити динамічно, а не чекає завершення фіксованого батчу. Традиційний батчинг чекає завершення найдовшої послідовності перед обробкою нових запитів. Безперервний батчинг негайно видаляє завершені послідовності та починає нові запити, поки інші ще обробляються.²⁰ Техніка драматично покращує завантаження GPU для навантажень зі змінною довжиною послідовностей — саме такий патерн демонструє більшість виробничих впроваджень.

Спекулятивне декодування використовує малу "чорнову" модель для передбачення кількох токенів, які більша "верифікаційна" модель перевіряє паралельно.²¹ Коли передбачення виявляються правильними, кілька токенів генеруються за один прямий прохід замість стандартного одного токена. Техніка зменшує затримку в 2-3 рази для застосунків, де мала модель може точно передбачити виходи більшої моделі — особливо ефективна для обмежених доменів або структурованих виходів.

Оптимізація KV-кешу, включаючи PagedAttention, керує пам'яттю кешу як віртуальною пам'яттю, зменшуючи фрагментацію та дозволяючи вищу паралельність.²² Техніки стиснення кешу додатково зменшують обсяг пам'яті. Кешування префіксів уникає повторних обчислень, коли запити мають спільні префікси — цінно для застосунків зі структурованими промптами або системними інструкціями.

Дистиляція моделей створює менші моделі, що апроксимують поведінку більших моделей для специфічних доменів. Дистильована модель 7B, що відповідає продуктивності GPT-4 на цільових завданнях, працює за частку інфраструктурних витрат, зберігаючи релевантну для застосунку якість.²³ Дистиляція вимагає початкових інвестицій у навчання, але забезпечує постійну економію на інференсі.

У поєднанні ці техніки накопичуються. Організація, що застосовує квантування (4x), безперервний батчинг (2x) і спекулятивне декодування (2x), може досягти 16-кратного ефективного зниження витрат порівняно з наївним впровадженням — перетворюючи економіку, що здавалася маржинальною, на суттєві переваги.

Структура прийняття рішень: API проти самостійного хостингу

Рішення про створення власної інфраструктури чи покупку послуг залежить від факторів, що виходять за межі простого порівняння витрат.

Обирайте API-інференс, коли: - Трафік спорадичний або непередбачуваний - Обсяг нижче 8 000 розмов на день - Інженерна потужність обмежена - Швидка ітерація вибору моделей є цінною - Вимоги комплаєнсу задовольняються сертифікаціями провайдера - Вимоги до затримки відповідають SLA провайдера

Обирайте самостійний хостинг, коли: - Трафік послідовний і великообсяговий - Завантаження GPU може стабільно перевищувати 50% - Суверенітет даних унеможливлює використання хмарних API - Кастомні моделі потребують спеціалізованого обслуговування - Вимоги до затримки перевищують можливості провайдерів - Оптимізація витрат виправдовує інженерні інвестиції

Гібридні підходи часто виявляються оптимальними. Організації направляють базовий

[Контент скорочено для перекладу]