Представлен MHE-Former для 3D-реконструкции поз и рук

Исследователи в области компьютерного зрения представили MHE-Former — фреймворк на базе трансформеров, предназначенный для 3D-реконструкции сеток тела и рук по монокулярным изображениям. Разработка решает проблему визуальной неопределенности и перекрытия объектов, при которых стандартные алгоритмы часто выдают неточные оценки.

Архитектура построена на принципе исследования и выбора гипотез. На первом этапе MHE-Former задействует максимизацию энтропии для генерации набора разнообразных и правдоподобных 3D-вариантов. Затем с помощью визуально-языковых моделей (VLM) система выбирает наиболее точный результат с учетом контекста или текстовых указаний.

Авторы препринта отмечают, что тестирование на бенчмарках подтвердило высокую точность и вариативность предсказаний модели, превосходящие существующие решения.