AI agent benchmark — Как 9 ИИ-агентов справились с задачами на разрушение

🧪 В новом эксперименте по тестированию ИИ-агентов 9 моделей получили возможность выбора между безопасным и разрушительным инструментом для выполнения задач. Основная цель — оценить их суждение, а не послушание. В 84 сценариях, где половина требовала осторожного подхода, а другая половина — мощного инструмента, три модели продемонстрировали идеальный результат 1.00, в то время как Claude Opus 5, самая дорогая, набрала всего 0.62. Причина? Она замерла на 32 из 42 задач, хотя была явно авторизована их выполнять. Эксперимент поднимает важный вопрос: как оценивать безопасность ИИ-агентов в реальных ситуациях?