InstantMesh. Преобразование 2D изображения в 3D объект

InstantMesh – фреймворк на базе искусственного интеллекта, разработанный специалистами из Tencent PCG ARC Lab и Шанхайского технического университета, который способен генерировать высококачественные 3D сетки из отдельных 2D изображений всего за десять секунд.

Фреймворк с открытым исходным кодом состоит из двух основных компонентов: многоракурсной диффузионной модели и модели реконструкции 3D сетки по нескольким ракурсам.

Многоракурсная диффузионная модель синтезирует 3D согласованные виды с разных углов, используя одно входное изображение, и эти виды служат входными данными для модели реконструкции.

InstantMesh опирается на сетки вместо трипланарных NeRF – представлений, использовавшихся в предыдущих методах, что позволяет получить более гладкие сетки и упростить постобработку.

Фреймворк демонстрирует значительно более высокие результаты по сравнению с текущими эталонными методами, такими как TripoSR, LGM и Stable Video 3D, как с точки зрения воспринимаемого качества синтезированных новых видов, так и с точки зрения геометрической точности.

В планах InstantMesh – увеличение разрешения генерируемых 3D сеток и использование более продвинутых диффузионных архитектур для дальнейшего улучшения согласованности между видами.

Но до сих пор остаётся открытым вопрос, насколько эти модели могут быть усовершенствованы до такой степени, что их можно будет использовать без дополнительной постобработки.

Разработчики выложили на сайте Hugging Face весь код, обученные варианты моделей и демоверсию.

InstantMesh (Hugging Face)

Материалы: The-decoder.com (Jonathan Kemper)