Один человек сделал клон Страты для Дипсика - Xolotl. Он дает 26 токенов в секунду для такого железа
- видеокарта RTX 4090 (24 GB)
- процессор Ryzen 7 5700X
- память 90 GB DDR4
- винт NVMe
И для собственного кванта DeepSeek Flash - GSQ mixed-tier: ternary / 2-bit / 3-bit experts (152 GiB).
А другой человек подготовил квант свежего DeepSeek-V4.1-Flash-1017, который вышел в прошлую субботу.
Кстати, Xolotl поддерживает также
- GLM-5.3-Flash - 25 ток/сек на оборудовании выше
- Qwen3.8-Flash-Next - 127.8 tok/s
- Qwen3.8-27B - 98.5 tok/s
Ссылки
- Xolotl - https://github.com/Indras-Mirror/Xolotl (там же есть ссылки на квант старого DeepSeek Flash, для которого делались тесты)
- Квант DeepSeek-V4.1-Flash-1017 - https://huggingface.co/kaushikvira/DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata
- Обсуждение - https://www.reddit.com/r/LocalLLM/comments/1x9jobm/xolotl_strata_the_new_deepseekv41flash1017_a_153/
Заряжайте!