Мы живем во все более цифровом мире.
Если вы обратили внимание, это не должно стать большим сюрпризом. Еще до пандемии такие технологии, как виртуальная и дополненная реальность, вызывали значительный интерес. На фоне локдаунов и карантинных мер этот интерес только вырос в геометрической прогрессии.
Вы, наверное, уже слышали всю шумиху вокруг Метавселенной. В лучшем случае неопределенное определение, а в худшем случае не более чем модное маркетинговое словечко, в основе лежит по крайней мере одна концепция, которая демонстрирует значительные перспективы: идея однажды соединиться друг с другом через виртуальную реальность не только в виде настраиваемых аватаров, но и в виде ярких цифровых аватаров. . представления о нашем реальном существе.
Идея объединенной онлайн-среды, наполненной реалистичными, смоделированными и динамичными аватарами наших друзей и семьи.
Это может звучать как нечто прямо из анналов научной фантастики. Но это не так. Скорее, это то, что китайская технологическая компания OPPO только что сделала более осуществимой, чем когда-либо, с помощью своей технологии 3D-реконструкции тела под управлением искусственного интеллекта.
Создание виртуальных тел
Когда дело доходит до 3D-реконструкции тела, исторически одной из самых больших проблем было реалистичное представление одежды, особенно мешковатой. Проблема не в самом каркасе: мы уже довольно давно осваиваем виртуальные тела с реалистичными пропорциями. Проблема в том, что одежда реагирует как… ну, настоящая одежда.
Не вдаваясь в технические подробности, традиционные методы реконструкции цифровых аватаров, как правило, приводят к размытой или просто поддельной одежде. Проблема в том, что между разными позами тела существует значительный разрыв в сложности. Обеспечение того, чтобы одежда действительно адаптировалась к этим движениям, требует непомерных усилий.
До недавнего времени не было реального решения этой проблемы, кроме как «отправить туда больше инженеров». И тут на помощь приходит OPPO. Как было продемонстрировано на конференции по компьютерному зрению и распознаванию образов 2022 года (откроется в новой вкладке), компания наконец-то решила проблему, которая вполне может быть одной из старейших проблем в этой области.
Как описано в этой статье (откроется в новой вкладке), процесс OPPO начался с обучения усовершенствованного алгоритма, позволяющего понять, как ткань формируется и деформируется при движении. Первоначально он сосредоточился на выявлении и понимании мелких деталей, таких как логотипы, края и текстуры. Ключ к успеху здесь заключается в том, чтобы рассматривать эти ткани как отдельный слой от движений скелета аватара, чего традиционные методы рендеринга до сих пор не могут достичь.
В сочетании с этим обучением алгоритм использует ряд предопределенных движущихся точек, прикрепленных к модели тела модели SMPL (по сути, стандартной 3D-модели человеческого тела (откроется в новой вкладке)). Затем эти точки объединяются со структурированными локальными полями излучения — процессами, которые одновременно формируют внешний вид и геометрию для создания более привлекательных изображений (откроется в новой вкладке).
Основываясь на своем новом методе, OPPO может создавать трехмерные динамические модели одну за другой посредством простого анализа видео — инновация с очень интересными приложениями.
Процесс создания виртуального аватара OPPO: пошаговое руководство
Как мы установили выше, цифровое моделирование человека традиционно было чрезвычайно сложной задачей. Сканирование модели — это только первый шаг. Помимо затрат, успех обычно требует ряда интенсивных инженерных и ручных задач по обработке.
Как видно из видео выше, процесс OPPO по сути исключает эти трудности.
1. Сначала данные о теле модели собираются через лабораторию цифровых аватаров OPPO.
2. После того, как программное обеспечение смартфона соберет достаточно данных об объекте, ИИ начинает генерировать 3D-аватар.
3. Профессиональный танцор выступал в роли модели человеческого тела и записывал движения. Первым шагом в процессе рендеринга является создание скелета с рядом предопределенных узлов привязки.
4. Алгоритм продолжает анализировать движения скелета, чтобы отличить его от формы и движения любой одежды, нанесенной на аватар.
5. Наконец, через несколько часов нейрорендеринг сцены создает полностью одетого цифрового персонажа с реалистичной физикой одежды и движениями.
У тебя нет ритма и ты смущаешься, что не умеешь танцевать? У вашего аватара не будет этой проблемы, поскольку вы будете вращаться и вращаться, а ваша одежда будет плавать вокруг вас, как на танцполе. Хотя алгоритм все еще находится в стадии разработки в лаборатории, он постепенно станет более эффективным и действенным по мере получения большего количества обучающих данных, что в конечном итоге сделает его применимым к неограниченному количеству сценариев реального мира, помимо танцев.
Представьте себе цифровой мир с OPPO
Это большой шаг к виртуальной реальности с полным погружением. По мере совершенствования технологии, лежащей в основе алгоритма OPPO, цифровое и физическое будут все больше сочетаться друг с другом. Как и следовало ожидать, у этого есть несколько очень интересных применений.
Во-первых, торговые центры и другие розничные магазины могут обеспечить более захватывающий онлайн-опыт с помощью таких технологий, как виртуальные раздевалки и фуд-корты. Это можно комбинировать с реалистичными, реалистичными пользовательскими аватарами, которые позволяют людям взаимодействовать с виртуальным миром на уровне, который раньше был невозможен. Эти аватары также позволят друзьям и близким видеть «настоящих значимых других» и вести себя так, как мы хотим, даже на больших расстояниях.
Есть также много других приложений.
Более убедительные и динамичные персонажи, основанные на движениях реальных людей в видеоиграх, в сочетании с меньшими затратами на разработку. Удаленная работа, поддерживаемая переговорными комнатами виртуальной реальности с полным погружением. Занятия по фитнесу и персональные тренировки под руководством искусственного интеллекта.
На самом деле, здесь нет предела.
Хотите верьте, хотите нет, но подобные технологии не являются чем-то новым для OPPO — компания уже несколько лет находится в авангарде искусственного интеллекта. Первоначально он начал свои исследования в области разработки искусственного интеллекта в 2015 году и с тех пор значительно углубил свое внимание. Сегодня он управляет Институтом интеллектуального восприятия и взаимодействия со специальными группами исследований и разработок, занимающимися различными технологиями и приложениями искусственного интеллекта.
Помимо 3D-реконструкции тела, технология OPPO также использовалась в таких продуктах, как пространственный AR-генератор CybeReal в реальном времени (откроется в новой вкладке), OPPO Air Glass (откроется в новой вкладке) и Omoji (откроется в новой вкладке). tab), который использует распознавание лиц для создания 3D-эмоджи.
Все это говорит о том, что, каким бы захватывающим оно ни было, это нововведение лишь затрагивает поверхность исследований OPPO. Компания каждый день разрабатывает новые технологии. И нет сомнений, что в следующем году будет что-то еще более интересное.