Тестирование Chisle: как он справляется с конкуренцией

🧪 Chisle, плагин для оптимизации токенов, показал интересные результаты в сравнении с Caveman и Ponytail. При тестировании на 20 задачах выяснилось, что конкуренты иногда генерируют больше токенов, чем при отсутствии инструмента. Например, Caveman превзошел Chisle в кратких кодовых запросах с 62% к 70%. В другом тесте с Pi harness, Chisle выдал наименьшие ответы по всем параметрам. Однако его другой компонент, PostToolUse, уменьшает вывод инструмента на 46%. Каждый этап тестирования задокументирован в репозитории. Полный код доступен на GitHub.