gpt-oss-120b на DGX Spark: влезает ли целиком и сколько остаётся на контекст
gpt-oss-120b — открытая модель на 117 млрд параметров, из которых на каждый токен работают около 5 млрд. В формате FP4 она занимает около 60 ГБ, поэтому помещается в 128 ГБ целиком, вместе с длинным контекстом и несколькими запросами. Показываем расчёт памяти; свой замер скорости опубликуем, когда проведём его на устройстве.
Что нужно по памяти
Веса: 117 млрд параметров × 0,53 байта на параметр в формате FP4 = около 62 ГБ. С надбавкой 15% на служебные буферы получается около 71 ГБ. К этому добавляется KV-кэш, который растёт с контекстом и числом запросов. Доступными считаем около 108 ГБ из 128 ГБ.
| Контекст | 1 запрос | 4 запроса | 16 запросов |
|---|---|---|---|
| 8K токенов | 72 | 74 | 81 |
| 32K токенов | 74 | 81 | 110 (2 узла) |
| 128K токенов | 81 | 110 (2 узла) | 226 (2 узла) |
Вывод: на одном узле помещается и контекст 128K для одного пользователя, и 32K для шестнадцати. Проверить другие сочетания можно в калькуляторе памяти.
Скорость
Для MoE-модели на каждый токен читаются только активные параметры, поэтому формула потолка даёт для gpt-oss-120b наибольшее значение в той таблице. Подробный расчёт — на странице характеристик. Реальная скорость ниже потолка; насколько — покажет замер на устройстве, его опубликуем на этой странице.
Источники и даты2
- 108 ГБДанные сервиса аренды SparkRent: под модель доступно 105–110 ГБ, часть памяти занимают ОС и софт12.10.2026
- 128 ГБ unified memory LPDDR5xNVIDIA DGX Spark Hardware Overview docs.nvidia.com12.10.2026