Google объяснила, как работает «космический режим» в Pixel 4
Одной из фишек флагманского смартфона Google Pixel 4 стал специальный режим астрофотографии, доступный в штатном приложении «Камера». Компания рассказала, как именно работает алгоритм и благодаря чему владельцы устройства могут получить детализированные и реалистичные снимки звездного неба.
Представители Google отметили, что максимальное время выдержки в режиме астрофотографии на Pixel 4 составляет четыре минуты. Для сравнения, у моделей Pixel 3 и Pixel 3a этот показатель не превышает одной минуты. Учитывая продолжительность времени, в течение которого свет попадает на матрицу камеры, есть риск размытия фотографии - но Google нашла способ решить эту проблему.
«Пользователи могут смириться с размытием облаков или деревьев на обычных снимках, но размытие во время съемки звезд будет выглядеть как световые полосы. Мы разделили экспозицию на кадры с достаточно короткой выдержкой и, таким образом, сумели добиться отображения звезд в виде точечных источников свет», - отмечают разработчики.
Выявленное в ходе разработки софта идеальное время экспозиции для каждого кадра при съемке ночного неба составило 16 секунд. После съемки всех 15 кадров алгоритм «склеивает» их в единую четырехминутную экспозицию для получения оптимального качества снимка.
Из проблем, с которыми пришлось столкнуться инженерам компании, Google отмечает появление отдельных пикселей. На готовой фотографии они выглядят как неестественные блики. Во время постобработки камера Pixel 4 сравнивает значения соседних пикселей и блокирует засветы, заменяя их аналогичным по палитре содержимым соседних пикселей.
«При низких уровнях освещенности, особенно в момент, когда отсутствует лунный свет, снимать звезды и пейзаж крайне проблематично. Частота обновления на уровне 15 раз в секунду не решает данную проблему, поэтому мы построили алгоритм таким образом, чтобы отображать последний снятый кадр в режиме астрофотографии», - рассказали представители Google.
Регулировку композиции можно осуществлять прямо во время съемки. При этом первый снимок может быть отложен, а второй - выбран в качестве ключевого для применения ракурса к новой серии фотографий.
Еще одной проблемой, которую необходимо было решить разработчикам при создании режима астрофотографии, стала работа автофокуса - при слабом освещении электронике сложно определить точку фокусировки. Чтобы справиться с этой задачей, смартфон делает два кадра, после чего анализирует объекты, на которых необходимо сфокусироваться. При этом ни одно из «пробных» изображений не попадает в финальную выборку.
Финальной задачей инженеров была корректная оценка уровня освещенности ночного неба. Для подсчета правильной температуры света Google использовала технологии машинного обучения. Предварительно компания натренировала нейронную сеть, предоставив ее для анализа около 10 тысяч изображений ночного неба. В результате искусственный интеллект научился самостоятельно определять подходящую цветовую температуру для каждой фотографии, позволяя ночному небу выглядеть естественным.
