Інфраструктура навчання FP8: числова точність нового покоління
Навчання FP8 скорочує обчислювальні та пам'яткові вимоги приблизно вдвічі порівняно з BF16, зберігаючи при цьому продуктивну якість. Microsoft, Meta та Google навчають передові моделі з FP8, досягаючи покращення пропускної здатності на 30-40%...
None