Предложен метод физического структурирования для JEPA-моделей мира

Группа исследователей представила препринт, посвященный оптимизации латентных моделей мира типа JEPA. Современные архитектуры, такие как LeWorldModel (LeWM), обучаются прогнозировать и планировать действия в скрытом пространстве. Однако даже при защите от коллапса представлений в динамических средах модели нередко игнорируют ключевые физические свойства объектов.

Для решения этой проблемы авторы предложили механизм вспомогательного контроля во время обучения с использованием компактного модуля Фурье. Данное решение физически структурирует латентное пространство без дополнительных вычислительных затрат на этапе инференса и может применяться в различных средах.

Эксперименты подтвердили, что предложенный подход заметно повышает успешность планирования в сложных динамических условиях. Кроме того, вспомогательный надзор продемонстрировал высокую эффективность при ограниченном объеме обучающих данных.