BitRun: Быстрый и легкий запуск 1-битных LLM на любом компьютере

🚀 BitRun позволяет запускать 1-битные LLM на обычных ноутбуках, достигая скорости 98-127 токенов в секунду на Apple M4 Pro и 40-45 токенов на Intel Core i5. Этот инструмент решает проблемы с производительностью и сложностью настройки, позволяя пользователям легко тестировать модели без необходимости в GPU или сложных средах разработки. Важные исправления в коде Microsoft сделали его работоспособным на современных устройствах. Теперь можно запустить модели всего за 60 секунд, просто используя команду установки. Подробности и инструкции доступны на Reddit.