Quant Experiments — Восстановление повреждений при низкобитном квантовании

🧪 Эксперименты по восстановлению повреждений в низкобитном квантовании привели к интересным результатам: удалось вернуть 3-5% утраченной информации. В процессе работы с моделью Qwen3.5-4B-UD-Q2_K_XL были выявлены четыре чувствительных тензора, которые можно обновить до Q4, добавив всего ~21MB к размеру модели. Эти улучшения достигаются благодаря оптимизированным настройкам семплера, основанным на анализе логитов. Дополнительные детали, включая неудачные попытки и идеи для будущих шагов, можно найти на GitHub.