Скорость DGX Spark: как будем мерить токены в секунду

01Что будет измерено

• Модели. gpt-oss-120b, актуальные на день замера версии Qwen (MoE и dense), модель класса Llama 70B, облегчённая версия DeepSeek, Gemma. Версии и хэши файлов запишем рядом.
• Движки. vLLM и llama.cpp, версии и команды запуска приводим целиком.
• Нагрузка. 1, 4 и 16 одновременных запросов; промпт 512 и 4 096 токенов, вывод 256 токенов; контекст 8K и 32K.
• Метрики. токены в секунду на вывод, время до первого токена, занятая память; потребление в простое, на пике и в среднем под нагрузкой, шум на расстоянии 1 м, температура чипа по nvidia-smi.
• Воспроизводимость. скрипт запуска и сырой лог публикуются вместе с таблицей.

Теоретический потолок для одного потока вычисляется из пропускной способности памяти 273 ГБ/с; он разобран на странице характеристик. Замер покажет, насколько реальность ниже потолка.

02Что мы ожидаем и чем это проверим

Гипотеза редакции: скорость определяется памятью, а не вычислениями. Если так, MoE-модели с малым числом активных параметров обгонят плотные модели той же памяти в разы, а рост числа потоков до 4–16 даст почти линейный прирост суммарной скорости, пока не упрётся в вычисления. Это гипотеза, не результат; замер её подтвердит или опровергнет.

Чего замер не покажет: троттлинг при многочасовой нагрузке, влияние версии драйвера и разброс между экземплярами устройства.