Представлен метод RA-GRPO для оптимизации визуальной генерации

В препринте на платформе arXiv представлена новая структура обучения с подкреплением Reflection-Aware GRPO (RA-GRPO). Разработка предназначена для генеративных диффузионных моделей и нацелена на улучшение качества генерации изображений и видео по текстовому описанию (T2I и T2V).

Существующие методы градиента политики нередко сталкиваются с неэффективным исследованием пространства и попадают в локальные оптимумы, что ухудшает точность и реализм генерации. Чтобы преодолеть эти ограничения, авторы внедрили диффузионную рефлексию и синтез контрфактических путей. Этот подход корректирует траектории сэмплирования, направляя скрытые состояния в более вероятные области распределения данных.

Эксперименты показали, что RA-GRPO эффективно предотвращает проблему взлома функции вознаграждения (reward hacking) и улучшает обобщающую способность моделей. Метод совместим со стандартными пайплайнами генерации и не создает вычислительных задержек на этапе инференса.