Исследователи искусственного интеллекта в Nvidia придумали способ почти мгновенно превратить несколько 2D-изображений в 3D-сцену, используя молниеносное обучение нейронной сети в сочетании с быстрым рендерингом.
Этот процесс, известный как инверсный рендеринг, использует искусственный интеллект для аппроксимации поведения света в реальном мире для преобразования 2D-изображений, снятых под разными углами, в 3D-сцены.
Исследователи Nvidia применили свой новый подход к новой популярной технологии под названием Neural Radiation Fields, или сокращенно NeRF. Результат, который компания назвала Instant NeRF, является самой быстрой технологией NeRF на сегодняшний день, а в некоторых случаях более чем в 1000 раз быстрее. Используемой нейронной модели требуется всего несколько секунд для обучения на нескольких десятках неподвижных фотографий, хотя для этого также требуются данные о ракурсах камеры, с которой они были сделаны.
Вице-президент Nvidia по графическим исследованиям Дэвид Любке предоставил дополнительную информацию о разнице между NeRF и Instant NeRF в своем блоге, заявив:
«В то время как традиционные 3D-представления, такие как полигональные сетки, похожи на векторные изображения, NeRF похожи на растровые изображения: они плотно отражают то, как свет исходит от объекта или в сцену. В этом смысле Instant NeRF может быть так же важен для 3D, как цифровые камеры и сжатие JPEG для 2D-фотографии, значительно увеличивая скорость, простоту и возможности захвата 3D и обмена ими.
Возможные варианты использования
Используя нейронные сети, NeRF могут отображать реалистичные 3D-сцены на основе входной коллекции 2D-изображений. Однако самое интересное заключается в том, как нейронные сети, использованные для их создания, могут заполнять промежутки между 2D-изображениями, даже когда объекты или люди на них заблокированы препятствиями.
Как правило, создание 3D-сцены традиционными методами может занять от нескольких до нескольких часов, в зависимости от сложности и разрешения дисплея. Благодаря внедрению ИИ в картину даже ранние модели NeRF могли создавать четкие сцены без артефактов в течение нескольких минут после обучения в течение нескольких часов.
Мгновенные NeRF от Nvidia способны сократить необходимое время рендеринга на порядки с помощью разработанной компанией методики, называемой кодированием хэш-сетки с несколькими разрешениями, которая была оптимизирована для эффективной работы на графических процессорах Nvidia. Модель, представленная компанией на GTC 2022, использует набор инструментов Nvidia CUDA Toolkit и библиотеку нейронных сетей Tiny CUDA, которые можно обучать и запускать на одном графическом процессоре Nvidia, хотя видеокарты с тензорными ядрами Nvidia справляются с этой задачей еще быстрее.
В будущем технологию Instant NeRF можно будет использовать для быстрого создания аватаров или сцен для виртуальных миров, захвата участников видеоконференций и их окружения в 3D или реконструкции сцен для цифровых 3D-карт. Кроме того, эту технологию можно использовать для обучения автономных роботов и автомобилей лучшему пониманию размера и формы объектов реального мира путем захвата их 2D-изображений или видеозаписей. В то же время архитектурные и развлекательные отрасли могут использовать Instant NeRF для быстрого создания цифровых представлений реальных сред, которые создатели могут изменять и расширять.
Исследователи Nvidia также изучают, как их новый метод кодирования ввода может быть использован для ускорения различных задач ИИ, таких как обучение с подкреплением, языковой перевод и алгоритмы глубокого обучения общего назначения.