Skill Activation Evaluation — Как разработчики улучшили активацию навыков Claude Code на 21%
🛠 46% — именно такой уровень активации навыков Claude Code был изначально. После тщательной проверки и исправления ошибок разработчики смогли поднять этот показатель до 67%! Основная проблема заключалась в том, что многие задачи не вызывали никаких навыков. Исправление ошибок и внедрение уникальных маркеров для каждого навыка оказали значительное влияние на результаты. Например, навыки, которые раньше не использовались, теперь показывают активность благодаря улучшениям. Подробности и графики по каждому навыку можно найти в полном отчёте: Medium. Также доступен бесплатный и открытый eval harness на GitHub.
Инструменты:
Claude
Источник:
www.reddit.com