Зерттеушілер Option-Critic алгоритміндегі кемшіліктер мен «саясат некрозын» анықтады

arXiv платформасында жарияланған жаңа ғылыми препринтте нығайту арқылы оқытудағы (reinforcement learning) Option-Critic архитектурасының жұмыс істеу тетіктері талданды. Ғалымдар қосымша опциялар қосылған сайын өнімділіктің неліктен артатынын теориялық және эксперименттік тұрғыда түсіндірді.

Зерттеу барысында алгоритм үйренетін аяқталу ережесінің тиімділігі шамалы екені анықталды. Сонымен қатар, опциялардың ішіндегі оқыту үдерісі жеткілікті зерттеу (exploration) жүргізбей, күйлерді алғашқы әрекетке бекітіп тастайтыны белгілі болды. Авторлар бұл құбылысты «саясат некрозы» (policy necrosis) деп атап, әдеттегі опцияларда күйлердің 60%-ы осы күйге түсетінін көрсетті.

Авторлардың мәліметінше, қосымша опцияларды енгізу олардың әрқайсысын жақсартпайды, тек барлық опцияның бір уақытта қателесу ықтималдығын 59%-дан 4%-ға дейін төмендетеді. Ал зерттеу тетігі қалпына келтірілген жағдайда, тапсырманы бір ғана опциямен де шешуге болады.