Представлен фреймворк Capsule Lens для отслеживания геометрии концептов в нейросетях

Исследователи представили Capsule Lens — новый фреймворк для механистической интерпретируемости, который сопоставляет область концепта в пространстве представлений модели с геометрической формой капсулы. Параметры формы вычисляются в замкнутом виде и проверяются на тестовых выборках.

Метод был протестирован как на статических, так и на динамических представлениях. В частности, авторы проанализировали изменения геометрии в ходе предобучения CLIP, а также при дообучении с подкреплением (RL) для визуальных ответов на вопросы и математических рассуждений.

Анализ показал качественные различия в динамике: предобучение CLIP приводит к масштабной перестройке всей сети, тогда как RL-постобучение вызывает локализованные изменения конкретных концептов.