Как работает камера в смартфоне

Сейчас, когда смартфоны стали главным устройством для съемки фото, мобильные компании пытаются бороться за конкуренцию там, где раньше царили старые гиганты съемки. Фактически смартфоны вытеснили крупных производителей фотокамер, большинство фото на таких ресурсах как Flicker созданы с помощью мобильных устройств. Но как узнать, какие камеры хороши? Как эти маленькие модули работают, как их создатели выжимают все соки из них, чтобы получить качественную картинку? А это – результат огромной работы, проделанной инженерами для ликвидации минусов, присущих маленьким фотокамерам.

Как все это работает на практике, пытается дать ответ Гари Симс, один из экспертов Android Authority – крупного англоязычного ресурса о смартфонах.

Как работает камера?

Чтобы вникнуть в тонкости процесса съемки, следует определить, как именно работает камера. Алгоритм съемки одинаковый как для зеркалок, так и смартфонов, и он следующий:

1. Пользователь (или смартфон) осуществляет фокусировку объектива.
2. Свет попадает в объектив.
3. Диафрагма определяет, сколько света достигло датчика (матрицы).
4. Затвор определяет, как долго сенсор подвергается воздействию света.
5. Сенсор захватывает изображение.
6. Аппаратура камеры записывает и сохраняет картинку в память.

Большинство пунктов этого алгоритма осуществляется с помощью относительно простых механизмов, работа которых определена законами физики. Поэтому имеются некоторые наблюдаемые явления, влияющие на качество фото предсказуемым образом.

Большая часть проблем, характерных для смартфонов, связана с этапами со второго по четвертый. Это связано с тем, что объектив, его диафрагма и сенсор (матрица) имеют небольшой размер. По этой причине они не способны уловить очень много света для получения качественного снимка. Разработчикам приходится идти на компромиссы, чтобы добиться получения снимков приемлемого качества.

Что делает фотографии хорошими?

Работу фотокамеры очень хорошо иллюстрирует сбор осадков с помощью ведра. Выбор экспозиции очень похож на использование посуды для сбора дождевой воды. Само количество осадков контролю со стороны человека не поддается, но зато есть возможность выбирать три параметра. Это ширина горловины, продолжительность пребывания сосуда под дождем и требуемое количество воды.

В процессе сбора важно убедиться, что собрано не слишком мало (недодержанный кадр), но и не чересчур много (передержанный снимок). Ключ в том, что существует очень много возможных комбинаций ширины посудины, времени выдержки и количества воды, которое надо собрать. Аналогичным образом, в фотографии, ширина сосуда – это параметры диафрагмы, время сбора – длина выдержки и скорость затвора, а чувствительность ISO – нужное количество воды. Подобно тому, как человек не может повлиять на интенсивность дождя, контролю фотографа не поддается уровень естественного освещения.

Когда речь идет о «хорошем» или «приемлемом» качестве фото, обычно подразумевается кадр, параметры съемки которого были выставлены верно. По аналогии, упомянутой выше, это ведро, заполненное тем количеством воды, которое нужно. Однако можно заметить, что если все настройки съемки будут выполнены в автоматическом режиме, фото не всегда удаются. Иногда на них слишком много шума, иногда снимок получается темным или размытым. Чтобы понять, почему так происходит, следует подробнее разобраться, что означают некоторые параметры и на что они влияют.

Как фокусируется камера?

Хотя глубина резкости у мобильных фотокамер обычно достаточно широка (объекты в фокусе удерживать легко), все же первое, что надо сделать для получения кадра – это переместить его фокусирующий элемент в правильное положение. Если вы не пользуетесь древним и/или очень дешевым смартфоном, в нем есть функция автофокусировки. Существует три главных технологии автофокусировки.

• Dual-Pixel. Автофокус с технологией Dual Pixel – это венец развития фазовой автофокусировки. Он использует специальные светочувствительные точки (фотодиоды), расположенные по всей площади матрицы, благодаря которым фокусировка происходит быстрее. Вместо выделения отдельных субпикселей на сенсоре для осуществления фокуса, каждый из пикслелй делают двойным. За счет фазовой разницы (разного количества света, поступающего из разных сторон) камера определяет, куда переместить точку фокусировки. Поскольку количество светочувствительных элементов, осуществляющих фокусировку, очень большое, то и скорость фокусировки будет высокой. Это самая эффективная технология, подробнее о ней мы писали здесь.
• Фазовый автофокус. Как и фокусировка Dual Pixel, фазовый автофокус работает на основе фотодиодов на матрице, определяющих разность фаз и переводящих фокусный элемент объектива в нужное положение. Эти фотодиоды размещены в особом порядке вместо отдельных пикселей (а не параллельно с ними), поэтому их меньше и скорость срабатывания фокуса может оказаться существенно ниже. Разница вроде и небольшая, но иногда значение имеет каждая доля секунды.
• Контрастный автофокус. Самая старая из всех технологий, используемых в смартфонах. В ее основе – определение уровня контрастности отдельных участков в кадре, и последующая наводка механизма фокусировки так, чтобы эти участки были наиболее выраженными. В силу того, что четкие очертания предметов имеют высокую контрастность, электроника способна интерпретировать эти объекты, как находящиеся в фокусе камеры, и выделять их. Однако срабатывает этот механизм достаточно медленно.

А что в объективе?

Цифры в технических спецификациях могут казаться очень сложными, но на самом деле не все так трудно. Основные параметры, которые приводятся, обычно указывают на фокусное расстояние, параметры диафрагмы и выдержку. Так как в смартфонах обычно используется не механический затвор, а электронный, начать следует с двух первых параметров.

В этих маленьких объективах есть много впечатляющих разработок

Фактическое объяснение значения фокусного расстояния для цифровой фотокамеры является достаточно сложным (так как напрямую сравнивать можно только значения для матриц одного размера). Поэтому обычно его выражают, как эквивалентное для угла обзора полнокадрового фотоаппарата 35 мм (такой размер кадра раньше имела самая популярная фотопленка, а сейчас – матрицы профессиональных зеркалок). Конечно, фотокамера с маленькой матрицей не может иметь физического фокусного расстояния 28 мм. Но если такое значение указано в характеристиках – это значит, что изображение со смартфона будет иметь такое же приближение, как полнокадровая фотокамера с 28-миллиметровым объективом.

Чем больше фокусное расстояние — тем сильнее приближение

Чем длиннее фокусное расстояние – тем сильнее будет увеличение снимка. Чем оно короче, тем шире будет угол обзора, а изображение будет казаться более отдаленным. Эквивалентное фокусное расстояние человеческого глаза составляет около 50 мм, поэтому картинка с 50-миллиметрового объектива близка к той, что видит человек. При меньшем фокусном расстоянии объекты будут казаться отдаленными (но в кадр их попадет больше), а при большем – приближенными (но поле обзора уменьшится).

Чем больше апертура — тем меньше количество f-стопов

Теперь о диафрагме (апертуре): это – механизм, который ограничивает прохождение света через объектив внутрь камеры, управляя так называемой глубиной резкости или областью плоскости, которая оказывается в фокусе. Чем больше закрыта диафрагма, тем больше окажется объектов в фокусе, чем сильнее она открыта – тем таких объектов меньше. Широкие открытые диафрагмы ценятся фотографами, потому что позволяют делать фото с приятным размытым фоном, но хорошо выделенным объектом съемки. Узкие же апертуры лучше подходят для фото общего плана, таких как пейзажи, макроснимки.

Итак, что означают числа? В общем, чем меньше значение «f-стоп», тем шире будет диафрагма. Так происходит потому, что значение f-стоп является математической функцией. Оно указывает на соотношение фокусного расстояния и диаметра диафрагмы. Например, объектив с фокусным расстоянием 50 мм и диаметром отверстия 10 мм будет иметь значение диафрагмы f/5. Этот параметр указывает важную информацию о том, сколько света идет на матрицу. Деление значения диафрагмы на полный «стоп» (умножение значения делителя f на квадратный корень из 2, приближенно равный 1,4) уменьшает площадь отверстия объектива вдвое. Например, при сужении диафрагмы с f/2 до f/2,8 или с f/4 до f/5,8 происходит уменьшение площади сбора света вдвое.

Более широкое отверстие (слева) имеет небольшую глубину резкости, но дает больше деталей переднего плана. Узкое отверстие (справа) имеет более широкую глубину резкости, видно больше деталей фона

Тем не менее, матрицы разного размера, при одинаковом значении диафрагмы, пропускают разное количество света. Выяснив диагональ матрицы фотокамеры смартфона, и разделив на него диагональ полнокадрового фотоаппарата с 35 мм, можно узнать, на сколько «стопов» нужно поднять значение после f на полноразмерной фотокамере, чтобы получить идентичную смартфону глубину матрицы. Если рассматривать в качестве примера iPhone 6S (диагональ его матрицы – 8,32 мм) с значением апертуры f/2,2, то такая же глубина резкости на полноразмерной зеркалке достигается при установке диафрагмы f/13 или f/14. Кто знаком с кадрами с iPhone 6S, тот знает, что это значит очень небольшое размытие на снимках.

Электронные затворы

После диафрагмы, скорость затвора является следующим важным параметром экспозиции, чтобы получить правильный снимок. Если сделать скорость спуска низкой – изображение может получиться размытым, а если высокой – снимок получится недодержанным. И хотя этот параметр обрабатывается большинством смартфонов автоматически, он все равно заслуживает обсуждения, чтобы было понятно, что же может пойти не так.

Подобно выдержке, скорость затвора выражается в «стопах» или настройках, увеличивающих/уменьшающих светопропускную способность в 2 раза. Выдержка 1/30 секунды – это на один «стоп» ярче, чем выдержка 1/60 секунды. Поскольку основным параметром, который здесь меняется, является время, за которое матрица записывает изображение, все проблемы неправильной выдержки заключаются в выборе очень короткого или очень длинного времени экспонирования. Если выдерживать картинку долго – изображение подвижного объекта будет смазанным.

В силу того, что камеры смартфонов имеют очень маленькие размеры, механическая часть камеры перед сенсором – заслонка затвора – была исключена из их конструкции. Вместо нее используется так называемый «электронный затвор», определяющий длительность выдержки. По сути, смартфон приказывает матрице записывать изображение в течение определенного временного отрезка, сверху вниз. Такой подход хорош для экономии веса и размеров модуля фотокамеры, но есть и нюансы. Например, если снимать быстро движущийся объект, датчик будет записывать его в разные моменты времени (из-за скорости считывания картинки с матрицы), искажая конечное изображение.

Обычно длина выдержки – первая вещь, которую камера настраивает при низком уровне освещенности. Другая же переменная, которую фотокамера тоже попытается изменить – это чувствительность. Так происходит потому, что если освещенность плохая, то при длинной выдержке дрожание руки приведет к получению смазанной фотографии. Некоторые смартфоны оснащаются компенсирующим механизмом оптической стабилизации. Он осуществляет движение линз или матрицы в противовес дрожаниям, тем самым предотвращая размытие.

Что такое чувствительность камеры?

Когда происходит настройка чувствительности фотокамеры (ISO), она получает сигнал, насколько надо усилить записываемый сигнал с сенсора, чтобы картинка вышла достаточно яркой. Побочным эффектом усиления становится повышение и уровня шума.

Если при просмотре фотографии, сделанной при дефиците освещения, видно множество разноцветных точек или зернистых артефактов – это дробовый шум. По сути то, что воспринимается человеком как яркость на фото, является относительным уровнем фотонов, отраженных от объекта и зафиксированных матрицей. Чем меньше света отражается от объекта съемки, тем большее усиление использует камера, для получения достаточно яркой картинки. После усиления все искажения становятся более заметными, внося этот самый шум.

При увеличении чувствительности (ISO) увеличивается и количество шумов в кадре

Это основной источник зернистости на картинке, но также шум может исходить от таких источников, как тепло, электромагнитное излучение и т.д. Причиной снижения качества фото может быть, например, перегрев смартфона. Для того, чтобы получить меньше шума, следует выбирать камеру с большими размерами, так как на нее попадет больше света за один раз. Чем больше света – тем меньше нужен коэффициент усиления, а чем этот коэффициент меньше – тем меньше будет и шумов на снимке.

Как можно себе представить, чем меньшие размеры имеет сенсор матрицы – тем сильнее он склонен к появлению шумов, так как он собирает меньше света. Смартфону намного сложнее сделать снимок такого же качества, как на хорошей фотокамере, потому что для получения сопоставимого качества ему нужно применять большее усиление в большинстве ситуаций.

Слева — снимок с низкой чувствительностью, демонстрирующий четкие детали, справа — алгоритм шумоподавления удаляет детали из фото, сделанного с высоким значением ISO

Камеры пытаются бороться с шумами на стадии обработки кадра, применяя так называемые «механизмы шумоподавления», идентифицирующие и устраняющие дефекты снимка. И хотя ни один из алгоритмов не идеален, современное программное обеспечение делает колоссальную работу по очистке фотографий от шума (учитывая все обстоятельства). Однако иногда слишком агрессивные системы шумоподавления могут случайно уменьшать резкость. Если шума будет очень много или кадр получится расплывчатым, то системе будет сложно определить, где в кадре шум, а где – важная деталь, что приведет к «пятнистым» снимкам.

Больше мегапикселей – больше проблем

Когда люди сравнивают камеры, то наиболее выделяемым параметром часто является количество мегапикселей (миллионов отдельных светочувствительных точек-пикселей), которые есть у продукта. Многие считают, что чем больше мегапикселей, тем большей является разрешение камеры, а потому она лучше. Но на самом деле этот параметр часто вводит в заблуждение, так как огромное значение имеет и размер пикселя.

Сравнение размеров матриц полнокадровой зеркалки и iPhone 6S (в углу)

Современные матрицы цифровых камер действительно представляют собой массивы из многих миллионов пикселей, даже на маленьких камерах. Но существует и обратная зависимость между количеством пикселей и их размерами. Чем больше пикселей присутствует на сенсоре, тем меньшие размеры имеет каждый из них, и тем меньше света он улавливает. Полнокадровая матрица, площадью 860 мм2, всегда будет улавливать больше света, чем сенсор смартфона с таким же разрешением. У того же iPhone 6S площадь матрицы составляет 17 мм2, а потому его пиксели (при равном разрешении) будут иметь площадь в 50 раз меньше (1,25*1,25 мкм или 1,56 мкм2 у iPhone, против 8,8*8,8 мкм или около 78 мкм2 – у полнокадровой зеркалки на 12 МП).

С другой стороны, если сделать пиксели достаточно большими, эффективно собирать свет можно, даже если общий размер сенсора останется не очень большим. Итак, если это так – то сколько же мегапикселей достаточно? Намного меньше, чем может показаться. Например, кадр из видео UHD 4K имеет площадь примерно 8 МП, а видео FullHD имеет кадр размером всего около 2 МП.

Однако есть преимущество в небольшом увеличении разрешения. Теорема Найквиста (в русскоязычных научных кругах известна как теорема Котельникова) приводит к тому, что изображение будет выглядеть намного четче, если записать его в двойном размере от размера предполагаемой среды отображения. Учитывая это, для печати на фотобумаге размера 5х7″ (около 13х18 см) с плотностью пикселей 300 DPI нужно снимать с разрешением 3000х4200 пикселей, или около 12 МП. Цифра знакомая? Похоже, это одна из многих причин, почему Apple, Google, Samsung остановились на разрешении 12 МП. Этого как раз хватит, чтобы печатать наиболее популярные размеры фото. При этом размеры матрицы остаются еще достаточно большими, чтобы справляться с недостатками от дефицита света.

После съемки

Как только камера сделает снимок, смартфон должен понять все, что он только что сделал. Теперь процессор должен собрать всю информацию, записанную пикселями сенсора в мозаику, которую люди воспринимают как итоговую картинку. И хоть звучит это не особо интересно, задача стоит немного более сложная, чем просто зафиксировать значения интенсивности света для каждого пикселя и записать их в файл.

Первый шаг заключается в сборе мозаики воедино. Человек может не осознавать этого, но картинка, которую видит сенсор, перевернута и состоит из множества участков красного, зеленого и синего цвета. Поэтому, когда процессор камеры пытается разместить показания каждого пикселя в нужном месте, он должен разместить его в определенном порядке, понятном человеку.

С фильтром Байера это просто: пиксели имеют определенный узор специальных фильтров, пропускающих световые волны той или иной частоты излучения (соответствующей красному, синему или зеленому). Затем недостающие значения интерполируются за счет соседних пикселей. То есть, каждый конкретный пиксель ловит свой цвет (красный, синий или зеленый), а другие цвета устройство получает от соседних пикселей (другого цвета).

Так как датчик фотокамеры – это не человеческий глаз, он не может так просто воссоздать сцену такой, какой видел ее человек в момент съемки. Изображения, полученные с матрицы, на самом деле не очень интересны. Цвета на них выглядят приглушенно, края не такие резкие, как на самом деле, а занимают такие снимки много места. Такие снимки (называемые RAW) не очень приятны для просмотра, ими не захочется делиться с друзьями. Поэтому большинство фотокамер делают такие вещи, как придание дополнительной насыщенности цветов, увеличение контраста по краям, чтобы картинка выглядела более резкой. Наконец, камера сжимает результат (обычно в формат JPEG), чтобы он занимал меньше места и им было легче поделиться.

Лучше ли двойные камеры?

Иногда лучше! Когда вы видите LG G6 или Huawei P10 с двумя камерами, это может означать несколько разные вещи. В случае с LG это просто указывает на то, что у него есть две матрицы с разными объективами, которые отличаются фокусными расстояниями (для широкоугольной и так называемой телефотосъемки).

В случае с Huawei система работает сложнее. Вместо переключения между двумя модулями, смартфон использует систему двух датчиков для создания одного снимка. Делается это путем объединения данных с «нормальной» матрицы и дополнительной, записывающей монохромный кадр. Смартфон использует данные из двух изображений, чтобы в итоге получить более детализованную картинку, чем может зафиксировать только один сенсор. Это интересный метод обхода проблемы ограниченных размеров сенсора, но он тоже не дает идеального результата. Таким образом только увеличивается объем информации для интерполяции. Более подробно о двойных камерах мы писали здесь.