RAMDeck: объединение ОЗУ для запуска AI моделей на старых ПК
🚀 78 ГБ оперативной памяти, объединённой с шести различных устройств — и всё это для запуска 120B модели! RAMDeck меняет правила игры, позволяя использовать старые ПК для обработки AI без необходимости в дорогих GPU. Инновационный подход к динамическому распределению памяти между устройствами обеспечивает автоматическое восстановление работы системы при сбоях. Это решение совместимо с OpenAI и позволяет запускать локальные LLM без сложной настройки. Узнайте больше о проекте и получите доступ к исходному коду на GitHub: RAMDeck Core.
Источник:
www.reddit.com