Цифровая фотография изменила то, как мы фотографируем на наши телефоны. Возможно, вы не заметили, потому что конечный эффект заключается в том, что нам больше не нужно думать об ограничениях телефонных камер и о том, не слишком ли сложна для них конкретная сцена.

Когда мы оглядываемся на первые годы существования смартфонов, то, что мы считали «хорошей» телефонной камерой, сегодня кажется почти смешным.

Переэкспонированные части изображений появлялись чаще, и даже лучшие камеры делали паршивые фотографии при слабом освещении по сравнению с доступным смартфоном среднего класса в 2022 году.

Все зависит от радикально улучшенного динамического диапазона и ночных режимов с многократной экспозицией, управляемых вычислительными методами. Они часто позволяют телефонам с датчиками камеры размером с детские ногти давать результаты, сравнимые с изображением DSLR, после редактирования и уточнения в Photoshop.

Основные типы сцен, которые больше всего выигрывают, — это среды с низким освещением и сверхвысокой контрастностью, где части изображения раньше были слишком яркими или слишком темными. Закаты, например.

В ожидании компьютерной видеореволюции

Однако до сих пор у нас не было такого же опыта на видео. Телефоны высокого класса отлично подходят для фотографий, но большинство из них не работают при съемке видео при более сложном освещении. Большой фотографический опыт только подчеркивает проблему. Вот что решает вычислительное видео.

Вычислительное видео ставит новые задачи, потому что время не на нашей стороне. Телефону может потребоваться несколько секунд, чтобы понять, как должно выглядеть неподвижное изображение с его камеры, построить его из дюжины отдельных экспозиций и потратить много времени на их склеивание.

У нас нет такой роскоши с видео, где каждая секунда отснятого материала может содержать 30 или 60 отдельных кадров в секунду. Телефон не может создать каждый кадр видео из нескольких экспозиций, потому что просто нет времени их снимать, не говоря уже об их обработке.

Поиск нового набора решений для компьютерного видео в настоящее время является одной из основных целей всех основных производителей телефонов высокого класса. И это стало одной из замечательных задач процессоров NPU, которые сейчас наращивают свою мощность быстрее, чем любая другая часть телефонов.

Samsung Galaxy S22 Ultra имеет несколько датчиков камеры (Изображение предоставлено Питером Хоффманном)

Технология, лежащая в основе программного обеспечения.

NPU — это нейронный процессор, который обрабатывает машинное обучение и рабочие нагрузки «ИИ». Когда они только начали появляться, мы думали, что они будут использоваться для дополненной реальности, например, в играх, в которых игровые элементы отображаются в виде реального мира, видимого камерой. Да, но оказывается, что способы использования ИИ, машинного обучения и нейронной обработки для фотографии на самом деле гораздо важнее.

Особая сила этих нейронных процессоров заключается в том, что они могут обрабатывать большое количество инструкций за короткий промежуток времени, используя очень мало энергии. Как мы уже выяснили, это именно то, что нам нужно для вычислительного видео.

Однако это только ресурс. Что могут с этим сделать производители телефонов и какие методы могут сделать вычислительное видео таким же мощным, как неподвижные изображения? Давайте посмотрим на некоторые из методов, которые вы можете использовать.

Набор техник

Возвращаясь к основам, у нас есть 2DNR и 3DNR, XNUMXD и XNUMXD шумоподавление. Это процесс отделения деталей от шума с целью сглаживания шума без уменьшения истинной визуальной информации изображения.

Все камеры уже используют шумоподавление, но более высокая вычислительная мощность нейронов позволяет новым телефонам использовать более продвинутые алгоритмы шумоподавления для более эффективного выполнения работы.

В чем разница между 2D и 3D NR? В режиме 2D-шумоподавления анализируйте одно изображение. Вы можете применять методы машинного обучения, основанные на миллионах похожих изображений, сделанных другими, но каждое изображение эффективно обрабатывается как неподвижное изображение. Пиксели сравниваются с группами соседних пикселей для выявления и удаления шума из изображения.

Дополнительное измерение, добавляемое 3DNR, — это не глубина, а время. Шумоподавление основано на том, что появляется в последовательных кадрах, а не только на данных из одного кадра.

iPhone 13 Pro Max

Apple iPhone 13 Pro Max также расширяет возможности камеры (Изображение предоставлено TechRadar).

Задача вычислительного видео состоит в том, чтобы добиться одновременного снижения шума обоих типов, но с использованием правильной техники в правильных частях сцены. 3DNR творит чудеса на относительно неподвижных участках изображения.

При съемке в условиях низкой освещенности требуемые высокие уровни чувствительности могут привести к мерцанию изображения с шумом. Временное 3D-шумоподавление дает телефону больше шансов сохранить аутентичные детали, не выцветая от кадра к кадру.

Однако 3DNR не является отличным решением для движущихся объектов, потому что в конечном итоге вы пытаетесь сравнить принципиально разные наборы данных изображения. Телефон должен отделять движущиеся части изображения от неподвижных областей, применять различные формы обработки и быть готовым сдвигать эти области с полсекунды на полсекунды.

И, конечно же, интенсивность рендера также должна меняться по мере изменения уровня освещения в середине клипа.

перейти к источнику

Нам также нужен телефон для получения более качественных данных, в первую очередь, чтобы производить меньше шума. Как мы можем сделать это, не используя датчик большего размера с более высокой собственной светочувствительностью?

Одним из способов является лучшее использование оптической стабилизации (OIS). В телефонах это обычно связано с мотором, который слегка перемещает объектив, чтобы компенсировать любое движение рук пользователя, хотя стабилизация задержки сенсора теперь существует и в телефонах. Последнее является ключевой особенностью беззеркальных камер высокого класса.

Эта компенсация движения позволяет телефону использовать более медленную скорость затвора, избегая при этом размытых данных изображения. При съемке ночью чем длиннее выдержка, тем лучше данные у камеры телефона для построения кадра. А при съемке со скоростью 30 кадров в секунду максимальное теоретическое окно, очевидно, составляет 1/30 секунды.

Вычислительное видео может динамически использовать эту концепцию окна максимальной экспозиции, используя стабилизирующую линзу OIS.

В определенных условиях низкой освещенности телефон выиграет от снижения частоты кадров до 30 кадров в секунду, даже если вы выбрали захват 60 кадров в секунду. Это удваивает максимальное время экспозиции, позволяя камере делать снимки с большей детализацией и меньшим количеством шума.

«Отсутствующие» кадры могут быть сгенерированы интерполяцией, где промежуточные кадры генерируются путем просмотра разницы в данных изображения между кадрами, которые у нас есть. Обычным фотографам это может показаться ересью, но это суть вычислительного подхода к созданию изображений.

Результаты имеют значение. То, как вы туда доберетесь, имеет меньшее значение.

Зачем останавливаться на 30fps? Телефон может даже упасть до гораздо более низкой частоты кадров, например 15 кадров в секунду, при этом создавая видео со скоростью 60 кадров в секунду, что может выглядеть хорошо, если сцена достаточно неподвижна.

Чем ниже частота кадров, тем больше максимальное окно экспозиции. Однако в данном случае речь идет о теоретических методиках. Насколько нам известно, ни один телефон еще не зашел так далеко.

OnePlus 9 Pro

Задние камеры OnePlus 9 Pro (Изображение предоставлено Truls Steinung)

выявить проблемы

Однако есть проблема. OIS, технология, на которую мы полагаемся, чтобы сделать жизнеспособной длинную выдержку, может компенсировать движение только в одном крайнем случае. Вы можете избежать размытия рукопожатия, а не размытия движения человека, идущего в кадре.

Как мы видели с шумоподавлением, лучшее вычислительное решение может меняться от момента к моменту в зависимости от того, что происходит на изображении. Одна из функций вычислительного видео состоит в том, чтобы управлять этим, изменяя скорость захвата на лету.

Существует также аппаратная техника, которая может помочь, под названием DOL-HDR. Возможно, вы знакомы с «обычными» режимами HDR для неподвижных изображений. Здесь несколько кадров объединяются в одно изображение. В мире телефонов это может означать от трех до 36 изображений.

С видео на это нет времени, и есть минимальное время для учета тонких изменений, которые произошли в сцене, когда эти экспозиции были захвачены, что привело к эффекту, называемому ореолом в плохо управляемых режимах HDR. DOL-HDR позволяет избежать этих проблем, делая две фотографии одновременно, используя один датчик камеры.

Как? 'Или что? Данные с типичного сенсора камеры считываются построчно, как печатающая головка, пробирающаяся по листу бумаги. Один ряд пикселей следует за другим.

DOL-HDR сохраняет две версии каждой строки за раз: одну из кадра с более длинной выдержкой и одну из кадра с более короткой выдержкой. Этот тип HDR можно часто использовать в сценах с большим контрастом по уровню освещенности, например, на закате.

Однако, хотя DOL-HDR можно использовать для захвата наборов видеокадров с разной выдержкой, а не только с разными настройками чувствительности (ISO), DOL-HDR также можно использовать для максимизации деталей и динамики движения в ночном видео.

Представьте себе сцену, которую мы упоминали ранее. Мы снимаем видео с относительно тусклым освещением, но человек пересекает кадр, и мы не хотим, чтобы это выглядело как беспорядок с размытием движения.

С DOL-HDR мы могли бы использовать короткую выдержку, чтобы получить более четкое представление о нашем движущемся персонаже, и более длинную выдержку, чтобы получить лучшие результаты для вывода сцены. «HDR» в DOL-HDR может означать высокий динамический диапазон, но может быть полезен и в других целях.

Задача вычислительного видео состоит в том, чтобы беспрепятственно ориентироваться в бесчисленных различных стилях и техниках записи и адаптироваться к постоянно растущей вычислительной нагрузке.

Те, которые мы описали, вероятно, являются лишь некоторыми из тех, которые производители телефонов также будут использовать. Теперь вопрос заключается в том, какие телефоны лучше всего справятся с вычислительным видео в 2022 году и далее.

TechRadar создал этот контент в рамках платного партнерства с Huawei. Содержание этой статьи является полностью независимым и отражает только мнение редакции LaComparacion.

Поделиться