ORL: 2788 токенов в секунду на RTX 5090 с диффузионной LLM

🚀 2788 токенов в секунду на одной RTX 5090! Это достижение стало возможным благодаря ORL (On-Policy Residual Learning) — новой исследовательской работе, которая ускоряет диффузионные языковые модели без потери качества. В сочетании с собственным движком dlmrt, ORL позволяет достигать впечатляющих результатов: 7708 токенов/с на 8× B200 и до 6.9× более высокой пропускной способности на модели QwenDLM-4B. Все модели, код обучения и движок для инференса теперь доступны в открытом доступе. Подробности по ссылке: здесь.