Basalt: Быстрый движок вывода Blackwell для Qwen 3.8 Flash Next

📦 После запуска Basalt, разработчик заметил проблему с загрузкой кодера изображений в VRAM, что занимало ценное место. Вдохновленный вопросом другого разработчика, он внедрил поддержку динамического зрения: теперь кодер загружается в RAM, а при получении изображения быстро перемещается в VRAM, что значительно сокращает использование ресурсов. Эта оптимизация позволяет избежать потерь производительности при обработке текста, а скорость кодирования возрастает до 3x по сравнению с llama.cpp. Узнайте больше о проекте на GitHub.