Как оптимизация сцены AI работает на камере вашего телефона

Как оптимизация сцены AI работает на камере вашего телефона
Если у вас есть флагманский камерофон, вы, вероятно, задаетесь вопросом, как он делает такие потрясающие фотографии. Телефоны осветляют тени, разбавляют фон для портретов, подобных зеркальным, подчеркивают цвета и в целом добавляют изюминку изображениям так, как этого не делают традиционные камеры. Большая часть этого процесса сводится к оптимизации сцены искусственного интеллекта, которую сегодня в некоторой степени можно найти на большинстве смартфонов, в лучшем случае на лучших смартфонах. Телефоны с камерой умны; В конце концов, это миникомпьютеры. Чип, питающий ваш телефон, обеспечивает вычислительную мощность, о которой мы и мечтать не могли десятилетия назад. Производители смартфонов сочетают этот интеллект с небольшим модулем камеры на задней панели телефона, чтобы создать искусственные глаза. Благодаря этим глазам ваш телефон сможет понять, что вы снимаете, определить, что оптимизировать, и подготовить окончательную фотографию для Instagram без необходимости многочасовой ретуши. Наиболее впечатляющим; В некоторых сценах камера смартфона может превзойти зеркальную камеру более чем на 1 доллар США благодаря всему этому интеллекту и вычислительной мощности процессора, а также интеллектуальным эффектам HDR. Короче говоря, это история о том, как проблема (маленькие сенсоры смартфонов) привела к следующей эволюции в компьютерной фотографии.

Что такое оптимизация сцены с помощью ИИ?

Подсказка кроется в названии. Оптимизация сцены с помощью искусственного интеллекта — это процесс, посредством которого ваш телефон оптимизирует сделанную фотографию в зависимости от снимаемой сцены. Когда вы разговариваете во время фотосъемки, когда вы направляете камеру телефона на объект, свет проходит через объектив и падает на датчик. Этот свет обрабатывается как изображение процессором сигналов изображения (ISP), который обычно является частью чипа вашего смартфона, будь то Qualcomm Snapdragon 11 или Apple AXNUMX Bionic. Интернет-провайдеры не новы. Они уже много лет используют цифровые камеры и делают те же самые базовые вещи на смартфонах. Некоторые из его задач — предоставить вам изображение для предварительного просмотра, уменьшить шум, настроить экспозицию, подсчет белого и т. д. Уникальность современных смартфонов заключается в том, насколько умны эти интернет-провайдеры. Во-первых, благодаря улучшенным вычислительным возможностям интернет-провайдеры камерофонов смогут лучше понимать, что вы записываете. При использовании старой зеркальной или компактной цифровой камеры вам, возможно, приходилось настраивать сцену вручную. Теперь смартфоны могут делать это сами. Однако это лишь царапает поверхность.

Галактика Samsung s21

(Изображение предоставлено: Samsung) Благодаря современной оптимизации сцены с помощью искусственного интеллекта телефон с камерой может понимать несколько элементов своего изображения и настраивать обработку каждого из них очень специфическими способами. Например, если вы фотографируете человека перед травяным полем с голубым небом в кадре, интернет-провайдер вашего телефона может осветить его лицо, поскольку это, вероятно, объект, улучшите зелень в кадре. сделайте их богаче и отдельно выделите голубизну неба, а в зависимости от вашего телефона, возможно, даже слегка смягчите фон, чтобы сфокусироваться на объекте. Сегодня многие смартфоны идут еще дальше. Например, в смартфонах высокого класса Sony есть функция отслеживания глаз домашних животных, а в смартфонах Huawei есть автоматическое обнаружение ночи, которое настолько хорошо работает на флагманах, что может освещать почти темную сцену, делая ее похожей на ночь и день. Эта технология доступна на iPhone, например, портретный режим, который позволяет максимально контролировать размытие фона и световые эффекты при съемке фотографии человека, а телефоны Google Pixel известны своей астрофотографией. Хотя он не поддерживает искусственный интеллект, при включении он смотрит на ночное небо и разумно оценивает, как долго цифровой затвор должен оставаться открытым, чтобы можно было запечатлеть звезды и даже галактики. Значит, смартфоны, вероятно, должны бледнеть по сравнению с зеркальными камерами, когда дело доходит до фотографии с искусственным интеллектом? По правде говоря, они этого не делают. Интересно, что производители камер узнают от инженеров камерофонов две вещи об обработке фотографий.

iPhone 13 Pro Max

(Изображение предоставлено: LaComparacion)

Маленькие датчики; Умные решения

Если вспомнить десять лет назад, Nokia выпустила смартфоны с большими и мощными ксеноновыми вспышками, такими как Nokia 808 Pureview. Компании пришлось повысить аппаратные характеристики своих камерофонов, поскольку фотографии, сделанные на большинство телефонов ночью, выглядели невыносимым зернистым беспорядком. Даже такой телефон, как Nokia Pureview, не помог в некоторых действительно сложных сценах. Причина, по которой так обсуждаются мобильные камеры, заключается в том, что телефоны должны помещаться в наших ладонях и карманах и, следовательно, должны быть небольшими. Смартфоны также должны иметь множество других элементов: экраны, динамики, аккумуляторы, антенны и т. д. Маленькие датчики движения с маленькими линзами плохо пропускают много света. Больше света означает лучшее изображение, и вот в чем проблема: маленькие сенсоры, ограниченные возможности улавливания света, плохое качество изображения. Эти ограничения на мобильные камеры вынудили производителей телефонов прекратить попытки решить проблему с помощью более качественного, дорогого, более крупного и разряжающего аккумулятор оборудования и вместо этого обратиться к программному обеспечению. Премьеры были связаны с тем, что большие титры, как и Google, разобрали Pixel, телефон без оптической стабилизации изображения, но с хорошей электронной стабилизацией, превзошедшей большую часть конкурентов. Затем Pixel и Pixel 2 продемонстрировали невероятные возможности обработки фотографий, которые превращали фотографии из обычных в потрясающие прямо на ваших глазах, распознавая сцену. Это привело к тому, что такие бренды, как Huawei, внедрили нейронные процессоры в наборы микросхем, Mate 9 оснащен функцией определения сцены с помощью искусственного интеллекта и функцией, присутствующей в телефонах других производителей смартфонов, а телефоны Samsung предупреждают примерно о тридцати двух сценах.

Huawei помощник для 40

(Изображение предоставлено Huawei)

Чего не может сделать обнаружение сцены с помощью ИИ?

И именно так умные люди, решившие задачу фотографии, сделали то, что невозможно преодолеть с помощью одного лишь оборудования — высококачественные фотографии со смартфона в любых условиях освещения — возможным с помощью программного обеспечения и обнаружения изображений сцен с помощью искусственного интеллекта. Следующий рубеж — обнаружение сцен в видео с помощью ИИ. Ультра-умные возможности ночной фотосъемки, используемые Apple, Google (Night Sight) и Huawei, хотя и доступны в некоторой степени, еще не реализованы в чистом ночном видео. Видео имеет частоту не менее двадцати четырех кадров в секунду, так что это еще один уровень вычислительной мощности. По мере того, как процессоры становятся более мощными, развитие искусственного интеллекта достигает новых высот, а датчики смартфонов становятся более способными улавливать свет, несмотря на их небольшой размер, распознавание сцены с помощью ИИ, похоже, будет продолжать менять лицо фотографии для всех.

LaComparacion создал этот контент в рамках платного партнерства с Huawei. Содержание этой статьи полностью независимо и отражает исключительно мнение редакции LaComparacion.