Калькулятор: влезет ли модель в 128 ГБ
Выберите модель и формат: калькулятор покажет, сколько памяти уйдёт на веса и контекст и сколько останется. Вердикт короткий: один узел, два или не влезает. Это оценка по формуле, и мы показываем, где она ещё не проверена замером.
Лимит одного узла — 108 ГБ из 128 ГБ: столько доступно под модель, часть памяти занимают ОС и софт. Два узла соединяются через ConnectX‑7 и дают 256 ГБ суммарно, под модель ≈216 ГБ.
Как считается
память ≈ параметры × байт/параметр × 1,15 + KV-кэш
KV-кэш = байт на токен × контекст × число запросов, где байт на токен = слои × 2 × KV-головы × размер головы × 2 для FP16.
- Параметры — полное число параметров модели, а не активное: в памяти должны лежать все эксперты MoE.
- Надбавка 15% — буферы, активации и накладные расходы движка. Это допущение редакции.
- KV-кэш в FP16. Движки умеют хранить его в FP8, тогда он вдвое меньше; в расчёте этого нет.
- Доступная память 108 ГБ — по данным сервиса аренды (105–110 ГБ). Свой замер
free -hопубликуем. - Проверка формулы. Для gpt-oss-120b формула даёт ≈62 ГБ одних весов, файл модели на диске — 65,3 ГБ (разбор — на странице о сервере для LLM).
| Модель | Тип | Параметров, млрд | Активных, млрд | KV, КБ на токен |
|---|---|---|---|---|
| gpt-oss-120b | MoE | 117 | 5,1 | 72 |
| Qwen3-235B-A22B | MoE | 235 | 22 | 188 |
| Qwen3-32B | dense | 32,8 | 32,8 | 256 |
| Qwen3-30B-A3B | MoE | 30,5 | 3,3 | 96 |
| Llama 3.3 70B | dense | 70,6 | 70,6 | 320 |
| DeepSeek-V3 / R1 (671B) | MoE | 671 | 37 | 69 |
| Формат | Байт на параметр | Комментарий |
|---|---|---|
| FP16 / BF16 | 2 | 2 байта на параметр |
| FP8 / INT8 | 1 | 1 байт на параметр |
| INT4 / Q4_K_M | 0,57 | ≈4,5 бит на параметр |
| FP4 (MXFP4 / NVFP4) | 0,53 | ≈4,25 бит на параметр |
Расчёт против замера
У большинства калькуляторов в выдаче есть формула, и ни у одного нет проверки. Мы добавим сюда таблицу: расчётная память и фактическая, снятая nvidia-smi на устройстве, минимум для шести моделей, — когда проведём замер.
Ограничения
- Формула не знает о конкретном движке: vLLM резервирует память заранее, llama.cpp — по требованию.
- Скользящее окно внимания и сжатый KV-кэш у некоторых моделей уменьшают расход, расчёт идёт с запасом.
- Влезает не значит быстро. Скорость зависит от пропускной способности памяти, смотрите страницу о скорости.
Источники и даты3
- 108 ГБДанные сервиса аренды SparkRent: под модель доступно 105–110 ГБ, часть памяти занимают ОС и софт12.10.2026
- 128 ГБ unified memory LPDDR5xNVIDIA DGX Spark Hardware Overview docs.nvidia.com12.10.2026
- ConnectX‑7, 200 Гбит/сNVIDIA DGX Spark, страница продукта nvidia.com12.10.2026