Зерттеушілер мультимодальды ЖИ үлгілеріндегі визуалды басымдық мәселесін анықтады

Ғылыми препринтте зерттеушілер мультимодальды көру-тіл үлгілерінің (VLM) дербестендірілген қауіпсіздік деңгейін талдады. Жүйелерді тексеру үшін 12 жоғары тәуекелді саладағы 584 суретке негізделген 5 181 сценарийден тұратын MPS-Bench бенчмаркі әзірленді. Сегіз алдыңғы қатарлы VLM үлгісін сынау барысында олардың нақтыланбаған контексті сұраудың орнына 86–99% жағдайда бірден жауап беретіні және қауіпсіздік бойынша 5 баллдан 2,6 баллдан аса алмағаны анықталды.

Бұл қателіктерге «визуалды басымдық» құбылысы себеп болған: визуалды сигналдар ерте кезеңде мәтіндік қауіп ескертулерін басып тастайды. Соның салдарынан модельдің өңдеу процесінің кейінгі сатыларында қауіпті жауаптарды түзету нәтиже бермейді.

Осы кемшілікті жою үшін авторлар PRISM атты бақылау жүйесін ұсынды. Екібағытты кросс-модальды модуляцияға негізделген бұл шешім сұранысқа нақтылау қажеттігін алдын ала анықтап, 0,978 AUC көрсеткішіне қол жеткізді және барлық тексерілген үлгілерде қауіпсіздік деңгейін арттырды.