Creative Writing Benchmark — Сравнение 24 LLM с человеческими писателями по 475 запросам

🧪 Вышел первый релиз Creative Writing benchmark, в котором сравнили 24 LLM с человеческими писателями по 475 творческим заданиям. Удивительно, но самые мощные модели уже опережают талантливых любителей, хотя профессиональные писатели по-прежнему остаются на первом месте. Результаты основаны на модели наград, обученной на предпочтениях людей. Полный обзор и возможность сравнить результаты доступны здесь. Интересно узнать ваше мнение о результатах!