Model Cost Router — Неудачный опыт создания маршрутизатора для оптимизации затрат на модели AI

🛠 Когда разработчик решил создать маршрутизатор для оптимизации затрат на модели AI, он ожидал, что сможет предсказать, когда стоит использовать более дешёвую модель. Однако, после тщательного тестирования выяснилось, что это решение не сработало. Основная проблема заключалась в том, что вектор, используемый для оценки сложности задач, не отражал реальную трудность. Вместо этого он использовал информацию о темах, а не о сложности запросов. Этот опыт показал, что иногда негативные результаты могут быть более информативными, чем успешные решения. В конечном итоге разработчик подчеркнул важность правильной оценки характеристик модели и механизмов её работы.