Bitcrush в моделях https://erli.xyz/posts/qwen38-27b-quant-kv-comparison/ 👉 35 вариантов сжатия Qwen3.8 27B на llama.cpp, ExLlamaV3 и vLLM, и у каждого ещё по три режима KV-кэша: 16, 8 и 4 бита 👉 8-битный кэш почти бесплатен: KLD уходит меньше чем на 0.00012, а память на 64k падает с 4.00 до 2.13 ГиБ 👉 А вот 4 бита прощают не всех: при точных весах ошибка подскакивает втрое, а при грубом Q3 всего…






