Зерттеушілер визуалды контент жасауға арналған RA-GRPO әдісін ұсынды

arXiv платформасында диффузиялық модельдерді күшейту арқылы оқытудың жаңа тәсілін ұсынған ғылыми препринт жарияланды. Жаңа әдіс Reflection-Aware GRPO (RA-GRPO) деп аталады және мәтіннен сурет пен видео жасау (T2I/T2V) жүйелерінің сапасын арттыруға бағытталған.

Қолданыстағы саясат градиентіне негізделген әдістер көбінесе жергілікті оңтайлы нүктелерге тұрып қалып, визуалды шынайылық пен семантикалық сәйкестікті төмендетеді. Бұл мәселені шешу үшін авторлар оптимизация процесіне «кері шегініп бағалау» логикасын, яғни диффузиялық рефлексия мен контрфактуалды жолдар синтезін енгізді. Бұл жасырын күйлерді деректер кеңістігінің ықтималдығы жоғары аймақтарына бағыттауға мүмкіндік береді.

Тәжірибелер RA-GRPO әдісінің «reward hacking» қаупін азайтып, модельдердің жалпылау қабілетін айтарлықтай жақсартатынын көрсетті. Сонымен қатар бұл шешім кез келген архитектураға сәйкес келеді және қорытынды жасау жылдамдығына қосымша салмақ түсірмейді.