Recursive BitNet N-Gram 102M — Новая модель Recursive BitNet N-Gram с 64К контекстом и 102M параметрами

🛠 Результат эксперимента — модель Recursive BitNet N-Gram 102M с 102.28M уникальных параметров, способная обрабатывать 64К токенов. Разработка обошлась всего в 100€, а обучение прошло в два этапа на мощных графических процессорах. Архитектура включает тернарные веса и хэшированные n-граммные эмбеддинги. Модель показала хорошие результаты на различных тестах, включая 40.11% точности на ARC-Easy. Все детали, включая веса и код, доступны на Hugging Face: модель.