Свой LLM в компании на одном сервере: что нужно и сколько пользователей выдержит
Свой LLM в компании означает, что запросы и документы не уходят во внешние сервисы. На одном устройстве с 128 ГБ памяти это реально, но число одновременных пользователей ограничено. Описываем схему из четырёх компонентов и показываем, какой нагрузочный тест нужен, чтобы назвать цифру.
Если документы можно отдавать во внешние модели, свой сервер не нужен вовсе: GPT, Claude и DeepSeek доступны по API через NeuroGate (наш проект) — из России, с оплатой в рублях.
Какие задачи решает локальная модель
- Поиск и ответы по внутренним документам: регламенты, договоры, база знаний.
- Черновики писем, резюме встреч, разбор обращений клиентов.
- Помощник для разработчиков по внутреннему коду.
Каждая задача предъявляет разные требования к скорости и длине контекста. Для поиска по документам нужен длинный контекст, для чата — низкая задержка первого токена.
Схема из четырёх компонентов
| Слой | Инструмент | За что отвечает |
|---|---|---|
| Движок | vLLM | Запускает модель и отдаёт API, совместимое с OpenAI. Отвечает за очередь запросов и память. |
| Интерфейс | Open WebUI | Чат для сотрудников: учётные записи, история, загрузка файлов. |
| Поиск по документам | RAG | Индекс ваших документов и векторное хранилище. Модель отвечает по найденным фрагментам. |
| Доступ и логи | Прокси и журнал | Кто и когда обращался. Ответственность за настройку лежит на владельце контура. |
Память делится так: основная часть — модель и её KV-кэш, остальное — индекс документов и сервисы. Сколько отвести под каждую часть, показывает калькулятор.
Нагрузка: сколько пользователей и какая задержка
Сколько человек одновременно выдержит один Spark, покажет нагрузочный тест: k6 или locust по API vLLM, задержка ответа p50 и p95 для чата и для RAG. Опубликуем его здесь, когда проведём на устройстве. До теста число пользователей не называем: любая цифра была бы выдумкой.
Ожидание редакции: один Spark комфортно обслуживает небольшую команду, а десятки одновременных пользователей уже требуют серверного ускорителя или нескольких узлов. Это ожидание, тест проверит его.
Что остаётся за вами
- Права доступа сотрудников к документам в индексе.
- Журналирование запросов и срок хранения логов.
- Обновление моделей и компонентов, резервное копирование индекса.
- Юридическая оценка: закон предъявляет требования к вашей организации и вашим данным независимо от того, где стоит сервер. Это вопрос к юристу, а не обещание журнала.
Пилот на месяц
Для проверки гипотезы достаточно месяца на реальных документах. Аренда на этот срок — 49 000 ₽, то есть заметно меньше решения о покупке за 535–750 тыс. ₽.
Источники и даты4
- от 49 000 ₽/месТариф SparkRent, помесячно15.10.2026
- 128 ГБ unified memory LPDDR5xNVIDIA DGX Spark Hardware Overview docs.nvidia.com12.10.2026
- ~535 000–555 000 ₽Выдача Яндекса по объявлениям Авито avito.ru (DGX Spark 128 ГБ/4 ТБ, цены в сниппетах; лоты не открывались, Авито блокирует сервер), ориентир12.10.2026оценка
- 699 000–750 000 ₽Магазины РФ: servermall.ru (699 000 ₽ с НДС, в наличии) servermall.ru ; t-bazar.ru (734 600 ₽) t-bazar.ru ; digital-razor.ru (750 000 ₽, под заказ) digital-razor.ru12.10.2026