CriticGen: Жасанды интеллект жауаптарын бағалау мен жақсартудың жаңа жүйесі ұсынылды

arXiv платформасында жарияланған жаңа ғылыми препринтте үлкен тілдік модельдерді (LLM) бағалау мен олардың жауаптарын түзетуге арналған CriticGen фреймворкі таныстырылды. Авторлардың айтуынша, қолданыстағы тексеру әдістері көбіне тым жалпылама сипатқа ие және генерация процесімен байланыспағандықтан, модельдерді жетілдіруге нақты нұсқау бере алмайды.

CriticGen жүйесі әр сұранысқа арнайы бағалау критерийлерін жасап, солардың негізінде балдарды, түсініктемелерді және нақты түзету ұсыныстарын қалыптастырады. Мұндай тәсіл жүйеге қателіктерді анықтап, жауаптарды мақсатты түрде қайта өңдеуге мүмкіндік береді.

Тәжірибе нәтижелері бойынша, CriticGen бағалау сапасын Pearson және Spearman бойынша 0.9556 және 0.9560 корреляциясына дейін көтерді. Ең бастысы, ұсынылған кері байланыс жауаптардың 73,17%-ын сапалы түрде жақсартып, 93,28% жағдайда сапаның төмендемеуін қамтамасыз етті.