Apple и ее будущее в мире мобильной фотографии. Часть вторая

В предыдущей статье мы пробежались по технологии глубинного сканирования сцены, портретным функциям модели iPhone 7 Plus, а также портретному освещению, присущему камере iPhone 8 Plus и грядущего iPhone X. В этой части мы бросим взгляд на более эксклюзивную технологию TrueDepth, которая будет реализована только в iPhone X, а также на другие особенности, в том числе технологию машинного обучения, которая будет применяться на всех устройствах, использующих операционную систему iOS 11.

TrueDepth выводит селфи на новый уровень

На проходившей этим летом WWDC'17 Apple представила новый пакет инструментов разработчика Depth API под iOS 11 для использования и обработки различных слоев данных изображения, полученного с помощью двойной камеры iPhone 7 Plus. Компания также намекнула на разработку альтернативной технологии, которая сможет еще более точно создавать глубинную карту изображений, по сравнению с тем, что предлагает двойная камера iPhone 7 Plus.

Одним из первых приложений, где было решено применить новую технологию TrueDepth, стало портретное освещение, но на этот раз для фронтальной камеры, чтобы фотографии себя любимого получались еще сочнее благодаря имитации эффекта студийного освещения, до этого доступного только для двойной тыльной камеры iPhone 7 Plus. Правда в то время, как двойная камера ведет расчет карты глубин путем сканирования разностей между двумя пространственными точками на двух полученных изображениях с двух камер, TrueDepth для фронтальной камеры использует матрицу из отраженного невидимого света, что в теории позволяет создавать еще более подобную карту глубин и, соответственно, более детальный снимок.

Анимодзи и TrueDepth

Помимо обработки данных пространственной глубины снимка аналогично двойным камерам моделей iPhone 7 Plus и iPhone 8 Plus, для работы портретного режима и портретного освещения сенсоры TrueDepth на iPhone X могут анализировать движение более 50 лицевых мышц и на базе этих данных создавать анимированный аватар пользователя в виде головы какого-нибудь существа. Apple назвала эти аватары анимодзи (animoji). В качестве основы компания выбрала 12 самых популярных обычных эмодзи и превратила их в настоящие 3D-маски, которые можно использовать, например, при общении в iMessage.

Кроме того, с выпуском iOS 11 технология TrueDepth стала открытой для сторонних разработчиков и позволяет создавать собственные эффекты. Создатели приложений и игр могут создавать свои собственные аватары и синхронизировать их с мимикой лица пользователя.

К разочарованию пользователей системы Android, адаптировать эти анимированные аватары на этой системе будет несколько сложнее, так как стандартные эмодзи от Google, Samsung и других производителей, мягко сказать, не совсем для этого подходят. Не зря ведь даже Google решила отказаться от своих странных эмодзи в последней итерации Android 8 «Oreo» и сделать выбор в пользу iOS’о-подобных. Правда для того, чтобы «фишка пошла в массы», потребуется определенное количество времени.

У Android просто нет возможностей быстро внедрить те функции, которые может внедрить и уже внедрила Apple. Слишком много особенностей как в аппаратной, так и программной среде и слишком много производителей, создающих эти особенности. Даже производящиеся по спецификации Google смартфоны Pixel отстают в этом плане от Apple на несколько порядков.

В том же последнем Pixel 2 постарались «скопировать» портретный режим, представленный Apple еще в прошлом году, и Live Photos, которым уже года два. Разумеется, ни о каком аналоге того же портретного освещения здесь речи не идет, не говоря уже об анимодзи или том же реальном просчете глубины сцены на изображении, которые необходимы для поддержки данных функций.

TrueDepth и Face ID

Благодаря TrueDepth Apple решила ввести новую функцию аутентификации Face ID, сделав ее альтернативой Touch ID. Что интересно, критики и скептики уже принялись жаловаться на «кривую» работу Face ID, еще, собственно, даже ее не опробовав. Однако правда такова, что новая система предлагает еще более надежный способ оценки биометрических данных пользователя, по сравнению с крошечным сенсором Touch ID.

Face ID не просто «использует ваше лицо для авторизации». Система гораздо сложнее, чем может показаться на первый взгляд. Вы по-прежнему можете использовать обычный пароль безопасности для входа в систему и изменять его при желании. Но злоумышленники вряд ли смогут раздобыть трехмерное изображение вашего лица для авторизации. На демонстрационном стенде iPhone X попытка разблокировать телефон даже зарегистрированным пользователем не удалась ввиду того, что в кадре, помимо прочего, находилось лицо стороннего человека.

«Здесь важен аспект дистанции. Разблокировать телефон, когда его держит кто-то еще, практически невозможно», - прокомментировал человек, демонстрирующий устройство и в ту же секунду без труда его разблокировавший на обычном расстоянии согнутой руки. А как отмечают журналисты западного AppleInsider, процесс разблокировки с помощью Face ID пришлось даже снимать в слоу-мо, так как система работает настолько быстро, что руках авторизованного пользователя она сработала фактически мгновенно.

Face ID (как Touch ID) просто предлагает более простой и в то же время надежный способ пропустить увлекательное занятие по ручному вводу вашего пароля для разблокировки устройства, усложняя при этом задачу по его взлому. Кроме того, в случае утраты устройства, у пользователя будет возможность удаленно отключить эту систему. Таким образом, у того, кто решит взломать биометрическую систему на украденном телефоне, останется для этого очень мало времени и возможностей, чтобы это сделать.

Система биометрической идентификации может быть отключена во всей системе iOS. Но важно отметить, что, несмотря на изначальные возгласы аналитиков и экспертов о том, что введенная еще со времен iPhone 5s биометрическая система идентификации повысит уровень уязвимости личных данных пользователей, статистика показала скорее серьезный спад в кражах устройств, использующих такие системы, но в то же время повысила внимание и озабоченность правоохранительных служб, которым теперь получить доступ к личным данным интересующих их лиц стало гораздо сложнее из-за повышения эффективности защиты.

Несмотря на кажущуюся сложность системы, правильная ее реализация на iOS показала, что она действительно может быть эффективной. Чего не скажешь об Android, где главные лицензиаты в лице Samsung и HTC, первыми представившие подобные системы, первыми же с ними и облажались, а затем быстрым темпом перейдя на неудобную систему лицевого распознавания, опять просчитались, так как ее эффективность и надежность оказались под большим вопросом.

Используя уникальную, специально разработанную и оптимизированную технологию камеры TrueDepth на iPhone X, Apple получила более эффективный инструмент, снижающий риск ложных срабатываний и существенно снижающий возможность обхода системы при биометрической идентификации. Конечно же, стоимость подобной системы сенсоров, скорее всего, оградит большинство Android-производителей от ее использования. Совсем недавно, например, Google отметила, что, по ее ожиданиям, 1/3 от всех проданных Android-смартфонов будут представлять собой устройства ценой до 100 долларов.

Несмотря на серьезные различия в ценовом весе, Apple ожидает, что ее смартфон стоимостью от 1000 долларов и выше купят более трети ее будущих клиентов (а возможно, и половина). И есть целый ряд причин, по которым пользователи захотят приобрести такое устройство, но важнее всего, что все они получат доступ к технологии TrueDepth, а это значит, что у сторонних разработчиков развяжутся руки при виде всей этой огромной базы пользователей в несколько десятков миллионов потенциальных клиентов.

В дополнение к сложностям адаптации полноценно функционирующих аппаратных сенсорных 3D-средств в своих смартфонах, Android-лицензиаты столкнулись с еще одной проблемой, которую Apple, в свою очередь, уже давно решила, - отсутствием полноценной экосистемы и реально качественных средств для демонстрации.

Как сообщали недавние отчеты, китайские производители столкнулись со сложностью адаптации 3D-сенсоров, построенных компаниями Qualcomm/Himax. Также отмечалось, что «производителям смартфонов потребуется больше времени для создания нужной экосистемы в виде прошивки, программного обеспечения и приложений, необходимых для эффективной производительности сенсорных 3D-модулей, предназначенных для поддержки таких функций, как сканирование отпечатков пальцев или сенсорного управления», делая из этого вывод, что «такие трудности становятся основным барьером перед интеграцией 3D-сенсорных технологий в смартфоны».

Android и отсутствие глубины

Попытки сторонних производителей заполнить рынок сенсорами 3D-камер для мобильных устройств ничем массовым так и не обернулись. Google работала с технологиями компании PrimeSense в течение нескольких лет в рамках своего проекта Tango, но сама пока так и не смогла убедить чувствительных к ценообразованию Android-лицензиатов адаптировать необходимые для работы этой системы технологии.

Как только Apple продемонстрировала инструмент для разработки дополненной реальности (АR) ARKit, Google тут же переименовала часть платформы Tango в «ARCore», видимо, таким образом пытаясь вернуть интерес к своей технологии за счет шума вокруг конкурента. Но опять же отсутствие установленной базы Android-устройств с поддержкой функций дополненной реальности и еще меньший запас возможности работы с глубинным анализом данных, собираемых будь то двойной камерой или любым типом сенсора глубины, в итоге не позволили к прийти к чему-то конкретному.

Кроме того, децентрализованная природа самой системы Android не только приводит к таким проблемам, как фрагментация и отсутствие оптимизации, но также и задает курс на производство сверхдешевых устройств, а не производительного оборудования и специализированных камер, необходимых для обработки сложных AR-данных, собираемых на базе камер с технологией глубинного анализа сцены. А вместо того, чтобы начать производить действительно мощное железо, Google долгие годы продвигала идею, что Android, Chrome и Pixel - это продукты, которые могут занять нижний ценовой сегмент и демонстрировать свою эффективность за счет подключения к мощным облачным сервисам. Но это, в свою очередь, породило среди народа предположение, что единственное, что реально нужно компании, так это данные о ее пользователях, в то время как вопрос возможности предложить лучшие варианты реализации продвинутых технологий своим клиентам для нее второстепенен.

Производительность процессора Apple A11 Bionic на фоне процессоров конкурентов

Как отмечают аналитики, Apple продолжает наращивать свой отрыв в повышении мощности устройств, а это, в свою очередь, приводит к тому, что iOS-устройства становятся все более и более способными к эффективной работе без необходимости наличия высокоскоростного соединения с облачными сервисами. Например, та же функция биометрической аутентификации работает полностью в локальном режиме, что коренным образом снижает риск перехвата пользовательских данных сторонними лицами.

Новый уровень глубины: Vision и CoreML

Наличие огромной вычислительной мощности вкупе с возможностью распознавать объекты, положение, движение и даже лица конкретных людей на фото делает возможным для Apple использование так называемого компьютерного зрения на своих устройствах - технологии, которая уже использовалась при обработке статичных фотографий, а теперь ставшая доступной и для использования в режиме непосредственной съемки.

Разумеется, Depth стала не единственной технологией, предназначающейся для обработки изображения на iOS. В дополнение к новым функциям, требующим наличия двух камер, а также новой технологии TrueDepth для iPhone X, выход iOS 11 сопроводился выпуском настоящего алгоритма машинного обучения, который будет использоваться камерами устройств на базе iOS 11.

Новый фреймворк Vision для iOS 11 обеспечивает высокопроизводительный анализ изображений и, используя технологию компьютерного зрения, распознает в кадре лица, их особенности, а также упрощает выстраивание сцены на создаваемых фото и видео. В основе Vision лежит фреймворк CoreML, который использует технологию машинного обучения. Результаты работы этого фреймворка можно оценить до этого хотя бы в той же Siri или клавиатуре QuickType. В технические особенности каждого мы вдаваться не будем, но перечислим некоторые возможности, которые можно реализовать благодаря их совместному использованию в создаваемых приложениях:

• распознавание изображений в реальном времени;
• предиктивный ввод текста;
• распознавание образов;
• анализ тональности;
• распознавание рукописного текста;
• ранжирование поиска;
• стилизация изображений;
• распознавание лиц;
• идентификация голоса;
• определение музыки;
• реферирование текста;
• и не только.

Этим летом Apple отмечала, что CoreML уже работает в шесть раз быстрее, чем существующие аналоги на Android. При этом речь шла о работе на iPhone 7. Все функции нового фреймворка Apple пообещала предоставить сторонним разработчикам, желающим усовершенствовать свои приложения.

Android IPhone Samsung