Nvidia представляет нейросеть Neuralangelo для преобразования 2D видео в 3D анимацию
Neuralangelo от Nvidia - это передовая модель искусственного интеллекта, которая может преобразовывать обычные видеоклипы в детальные трехмерные структуры, имитируя текстуры, такие как стекло и мрамор.
Как Микеланджело создавал потрясающие, реалистичные образы из блоков мрамора, так и Neuralangelo создает трехмерные структуры с сложными деталями и текстурами. После этого, специалисты могут импортировать эти 3D объекты в приложения для 3D моделирования, чтобы редактировать их и использовать в искусстве, проектировании зданий и сооружений, разработке видеоигр, робототехнике и промышленных дизайне.
Neuralangelo имеет большие возможности по преобразованию текстуры сложных материалов, таких как черепица, оконные стекла и гладкий мрамор из 2D видео в 3D объекты, чем предыдущие методы. Благодаря высокой точности, разработчики и профессионалы могут быстро создавать пригодные для использования виртуальные объекты для своих проектов, используя кадры, снятые на телефон.
На демонстрации, разработчики компании NVIDIA показали, что модель способна воссоздавать культовые объекты, как, например, скульптуру Давида Микеланджело, а также простые предметы, как грузовик. Программа Neuralangelo также способна восстанавливать внутренние и внешние пространства зданий, что проиллюстрировано подробной трехмерной моделью парка на территории кампуса NVIDIA в Бэй-эрии.
Модель нейронного рендеринга
Предыдущие модели искусственного интеллекта для восстановления 3D-сцен старались с большой точностью зафиксировать повторяющиеся узоры текстуры, однородные цвета и сильные цветовые изменения. Neuralangelo использует технологию мгновенных нейронных графических примитивов, основанную на NVIDIA Instant NeRF, чтобы помочь уловить эти мельчайшие детали.
Путем использования 2D-видео объекта или сцены, снятых с разных ракурсов, модель выбирает несколько кадров, показывающих разные точки зрения. Это подобно работе художника, который изучает объект с разных сторон, чтобы получить представление о его глубине, размере и форме.
После определения позиции камеры для каждого кадра, искусственный интеллект Neuralangelo создает грубую трехмерную модель сцены, похожую на работу скульптора, который начинает формировать форму объекта. Затем модель оптимизирует визуализацию, чтобы сделать детали более ясными, аналогично тому, как скульптор аккуратно обрабатывает камень, чтобы передать текстуру ткани или человеческую фигуру.
В результате получается 3D-объект или обширная сцена, которые могут быть использованы в виртуальной реальности, рендеринге, создании цифровых двойников или разработке робототехники.
