Исследование выявило «некроз политик» и избыточность в архитектуре Option-Critic

В новом препринте, опубликованном на arXiv, исследователи проанализировали популярную архитектуру обучения с подкреплением Option-Critic. Работа теоретически и экспериментально объясняет, за счет чего добавление новых опций (подполитик) приводит к улучшению общих результатов модели.

Авторы выяснили, что выученное правило терминации опций практически не приносит пользы и в ряде случаев блокирует исследование среды. Кроме того, из-за слабого исследования пространства действий внутри опций возникает эффект, названный «некрозом политики» (policy necrosis): состояние фиксируется на первом попавшемся действии и больше не обновляется. В типичной опции до трех пятых состояний оказываются некротическими.

Ученые продемонстрировали, что добавление новых опций не улучшает качество самих опций, а лишь снижает вероятность одновременного сбоя всех вариантов в одном состоянии — с 59% до 4%. При восстановлении полноценного исследования среды для решения задачи оказывается достаточно всего одной опции.