SlopCodeBench: Как агенты справляются с меняющимися требованиями

🚀 15 кодирующих агентов прошли тестирование на SlopCodeBench, и результаты оказались неутешительными. В большинстве случаев качество кода ухудшилось! В видеоэссе разбираются, что происходит, когда требования к задаче меняются. SlopCodeBench ставит перед агентами задачи, которые эволюционируют на нескольких контрольных точках, а не просто проверяет, проходит ли модель один тест. Выяснилось, что ни один из протестированных агентов не смог полностью решить задачи, а код стал на 2.3 раза более многословным по сравнению с кодом из 473 репозиториев, поддерживаемых людьми. Подробнее о находках и методах — в видео: ссылка. Научная работа доступна здесь: ссылка.