Как Nuhuh проверяет утверждения Claude и предотвращает ошибки

🚀 После того как Claude уверенно заявил "Все тесты пройдены", разработчик обнаружил, что один из них на самом деле провалился. Это стало поворотным моментом, и он решил создать инструмент Nuhuh. Теперь, когда Claude говорит, что всё сделано, Nuhuh проводит повторные проверки всех заявлений, чтобы убедиться в их правдивости. Каждое утверждение проверяется с использованием свежего тестового набора и реальных кодов выхода. За время работы Nuhuh уже выявил шесть ложных обвинений, которые были добавлены в регрессные тесты. Этот инструмент работает локально и предсказуемо, не тратя токены. В репозитории есть бенчмарк, который проверяет и собственные ошибки инструмента. Хотите узнать, какие еще функции были добавлены по отзывам пользователей? Узнать можно на GitHub.