Какой сервер нужен для локальной LLM: от размера модели к железу

01Сколько памяти нужно модели

Память складывается из двух частей.

Веса. Число параметров умножаем на размер одного параметра. В FP16 и BF16 параметр занимает 2 байта, в FP8 один. Четырёхбитные форматы мы считаем как 4,5 бита, то есть 0,57 байта: кроме самих чисел, в файле лежат коэффициенты масштаба. Для MXFP4, в котором выпущен gpt-oss-120b, берём 0,53 байта. Сверху добавляем 15% на буферы и служебные структуры движка.

Кэш контекста (KV-кэш). Модель хранит в нём уже прочитанный текст, чтобы не пересчитывать его на каждом шаге. На один токен уходит: число слоёв × 2 (ключи и значения) × число KV-голов × размер головы × 2 байта, если кэш хранится в FP16. Всё это берётся из файла config.json модели. Кэш растёт линейно с длиной контекста и с числом одновременных запросов. В FP8 он вдвое меньше, а четыре пользователя, каждый из которых заполнил все 32 тыс. токенов, это худший случай.

Пример на Llama 3.3 70B. У неё 80 слоёв, 8 KV-голов, размер головы 128. Один токен контекста занимает 80 × 2 × 8 × 128 × 2 = 327 680 байт, около 0,33 МБ. Контекст 32 768 токенов — это 10,7 ГБ на одного пользователя.

Веса в 4 битах: 70,6 млрд × 0,57 = 40,2 ГБ, с запасом 15% — 46,3 ГБ. На одного пользователя с контекстом 32K выходит 57 ГБ. На четырёх — 46,3 + 4 × 10,7 = 89 ГБ.

Формулу мы проверили на реальном файле. Чекпойнт gpt-oss-120b на Hugging Face весит 65,3 ГБ, формула даёт 62 ГБ одних весов (117 млрд × 0,53). Недооценка 5% укладывается в запас 15%, но этот запас тогда уходит не только на буферы движка. С KV-кэшем у gpt-oss формула ошибается в другую сторону: у половины её слоёв, 18 из 36, окно внимания всего 128 токенов, поэтому реальный кэш примерно вдвое меньше расчётного.

02Сколько нужно популярным моделям

Расчёт по формуле выше, контекст 32K. Конкретный движок (vLLM, llama.cpp, Ollama) добавит своё, а занятую память на Spark мы покажем замером.

Как считали. Десятичные гигабайты; у карты «на 24 ГБ» на деле 24 ГиБ, это 25,8 млрд байт, небольшой запас сверху. Кэш gpt-oss-120b посчитан без поправки на короткое окно внимания, с запасом. Подставить свою модель, формат и число пользователей можно в калькуляторе памяти.

У Qwen3-32B на четырёх пользователях кэш занимает 34,4 ГБ, больше, чем веса (21,5 ГБ). У соседней Qwen3-30B-A3B при почти том же размере кэш в 2,7 раза меньше: слоёв 48 против 64 и KV-голов 4 против 8. Для сервиса на несколько человек это важнее, чем разница в 2,3 млрд параметров между моделями.

У DeepSeek-V3 обратная картина. Кэш почти ничего не весит благодаря сжатому вниманию (MLA), но 442 ГБ одних весов не помещаются ни в одно настольное устройство.

03Объём памяти не равен скорости

Память решает, запустится ли модель. Скорость генерации зависит от того, как быстро эта память читается: на каждый токен модель заново читает веса, у MoE-моделей только активную часть.

Llama 3.3 70B в 4 битах читает на каждый токен около 40 ГБ. DGX Spark читает 273 ГБ в секунду. Отсюда потолок: меньше семи токенов в секунду на одного пользователя, и это без накладных расходов и без чтения кэша — оценка по формуле, не замер. Реальная скорость ниже, но порядок понятен: плотная 70B на Spark работает медленно. У MoE-моделей вроде gpt-oss-120b на токен читается малая часть весов, и потолок в разы выше. Собственные замеры будут в материале о скорости.

У RTX 5090 пропускная способность 1 792 ГБ/с, у H100 SXM 3,35 ТБ/с. Подробное сравнение по обоим числам, памяти и скорости её чтения, есть в материале DGX Spark против RTX 5090, Mac Studio и H100.

04Какое железо под какой объём: цены на 12.10.2026

Spark. Берём 108 ГБ из 128: столько доступно под модель, остальное занимают ОС и софт.

Цены на видеокарты в 2026 году выросли из-за дефицита памяти. RTX 5060 Ti 16 ГБ на старте весной 2025-го продавали за 55–68 тыс. ₽, сейчас за 84–103 тыс. У RTX PRO 6000 цена в США с запуска почти удвоилась: с $8 565 до $16 000 к августу 2026. Поэтому февральская российская цена этой карты, скорее всего, уже неактуальна.

05Когда хватит одной видеокарты

Если модель с вашим контекстом помещается в 24–32 ГБ, берите видеокарту. На моделях до 30 млрд параметров она быстрее любого устройства с общей памятью, потому что читает память в разы быстрее. Самый доступный вход по деньгам сейчас — RTX 3090 на 24 ГБ, новая за 251 750 ₽. Полноценная MoE-модель Qwen3-30B-A3B в 4 битах на ней работает для одного пользователя.

Карта на 16 ГБ подойдёт для моделей до 14 млрд параметров и для экспериментов. Для рабочего ассистента на команду её мало.

Две карты по 24 ГБ дают 48 ГБ, но модель придётся делить между ними: vLLM делит каждый слой между картами (тензорный параллелизм), llama.cpp по умолчанию раскладывает слои по картам по очереди, и скорость у этих способов разная. Llama 70B в 4 битах с нашим запасом занимает 46,3 ГБ, на контекст остаётся меньше 2 ГБ, это несколько тысяч токенов.

06Когда уместен DGX Spark и когда нет

Spark имеет смысл, когда модель не помещается в карту, а пользователей немного. По нашему расчёту это модели, которым нужно от 60 до 119 ГБ: gpt-oss-120b с запасом под контекст, Llama 3.3 70B в 4 битах на нескольких пользователей или в FP8 на одного. Плюс CUDA, тот же программный стек, что на серверных ускорителях, и коробка 150 × 150 × 50,5 мм с блоком питания на 240 Вт.

Где Spark не нужен:

• модель помещается в 24–32 ГБ — карта будет быстрее и дешевле;
• нужна скорость на плотной 70B: потолок меньше семи токенов в секунду на пользователя (оценка по формуле, не замер);
• десятки одновременных пользователей или продакшен с требованиями к задержке;
• модели больше 108 ГБ, например Qwen3-235B или DeepSeek-V3. Для первой хватит пары Spark (256 ГБ суммарно, под модель ≈216 ГБ), для второй не хватит и пары.

Соседний вариант со 128 ГБ общей памяти — мини-ПК на AMD Ryzen AI Max+ 395, у которого 256 ГБ/с, почти как у Spark. В России он не дешевле: один магазин просит 925 900 ₽ со сроком поставки 40–60 рабочих дней. К тому же у него нет CUDA.

07Когда нужен сервер с H100 или облако

Сервер с H100 нужен, когда пользователей десятки, ответы должны приходить быстро, а модель весит больше, чем помещается в одну карту. Покупка дорогая: карта H100 PCIe в российском магазине стоит 2 787 900 ₽ и её нет в наличии, OEM-версия 3 249 700 ₽, а готовый сервер на четыре H100 NVL начинается от 23,6 млн ₽.

Для небольшой команды реальнее облако. Час одной H100 в российских облаках на 12.10.2026 стоит от 242 до 542 ₽, большинство предложений в диапазоне 290–360 ₽. Круглосуточный месяц по такой цене — 208 800–259 200 ₽. Это выгодно, если нагрузка неравномерная: днём сотня запросов, ночью ноль.

08Покупать, арендовать или брать облако

Если нагрузка постоянная и проект проживёт дольше полутора лет, мы бы покупали. Для Spark аренда сравнивается с покупкой за 14–15 месяцев при аренде у партнёров от 49 000 ₽ в месяц (подробный расчёт в материале о цене Spark в России). Пока непонятно, подходит ли модель и сколько пользователей выдержит железо, разумнее арендовать на сутки или на месяц. Под нагрузку всплесками лучше облако с почасовой оплатой.

Сколько пользователей выдержит один Spark с конкретной моделью, мы покажем в нагрузочном тесте в материале о LLM для бизнеса. До замера таких цифр не называем.

Что изменилось

• 12.10.2026 — первая версия. Цены сняты 12.10.2026, кроме оговорённых в таблице.