Godwit — Как на MacBook Air запустили 120-миллиардную модель ИИ

🚀 120 миллиардов параметров на MacBook Air с 16GB RAM — это возможно! Разработчик создал движок на Swift, который использует лишь 2GB ядра и загружает остальные данные по мере необходимости с SSD. Модель, размером 59GB, работает медленно, но уверенно — около 1.4 слов в секунду. Интересно, что он разработал панель управления, на которой видно, какие из 4,608 подсетей активны для каждого слова. Также создана "карта диапазонов", показывающая, какие подсети реагируют на разные типы текста. Все это доступно в репозитории Godwit — бесплатно и с нулевыми зависимостями.