CriticGen: Представлен новый фреймворк для детальной оценки и улучшения ответов ИИ

В препринте, опубликованном на платформе arXiv, представлена система CriticGen — новый фреймворк детальной оценки работы больших языковых моделей (LLM). Существующие методы тестирования ИИ зачастую оторваны от процесса генерации и не дают практических указаний для улучшения результатов.

CriticGen формирует динамические критерии оценки для каждого конкретного запроса, охватывая субъективные, объективные и производные ограничения. На основе этих параметров модель выставляет оценку, формулирует обоснование и предлагает конкретный алгоритм доработки ответа.

Эксперименты показали высокую точность подхода: корреляция оценок по Пирсону и Спирмену достигла 0.9556 и 0.9560 соответственно. Кроме того, использование CriticGen позволило улучшить 73,17% сгенерированных ответов при уровне сохранения базового качества в 93,28%.