0.8B модель победила 2B модель на ARC-Challenge с DynamicTune

🛠 Модель с 0.8B параметрами неожиданно обошла 2.5B модель, показав 42.15% на ARC-Challenge! Это стало возможным благодаря методу DynamicTune, который передаёт динамику траекторий от большей модели к меньшей без обратного распространения. Весь процесс занял всего 12 минут на обычном оборудовании, и результаты были подтверждены на облачном сервере с NVIDIA L4. Сравнение показало, что даже с меньшим количеством параметров, новая модель значительно превзошла существующие решения, которые использовали тысячи обучающих пар.