Quartermaster 1.7: новые возможности для моделей принятия решений
🛠 Quartermaster обновлён до версии 1.7 и теперь позволяет запускать новые модели принятия решений от llama.cpp прямо в интерфейсе. Просто поместите модель в папку и получите конфигурацию, подходящую для VRAM. Новый Playground таб позволяет задавать вопросы и получать ответы с отображением вероятностей. Все запросы идут через API Quartermaster, что упрощает интеграцию с вашими чат-моделями. Убедитесь, что у вас установлена последняя версия llama.cpp для корректной работы.
Источник:
www.reddit.com