Функция Facebook 3D Photos придает объем любой фотографии
После внедрения поддержки сферических фотографий и видеороликов Facebook представила в 2018 году функцию, позволяющую просматривать и публиковать 3D-фотографии. Однако ее работа зависит от способности смартфона делать стереоскопические снимки аппаратными средствами. Но Facebook работает на тем, чтобы донести этот новый визуальный формат до большего количества людей.
Компания задействовала методы машинного обучения для создания трехмерных фото практически из любого изображения. Будь то новая фотография, только что сделанная на устройстве Android или iOS с помощью стандартной одиночной камеры, или фотография десятилетней давности - Facebook может преобразовать ее в стереоснимок.
Создание технологии потребовало преодоления множества технических проблем, таких как обучение модели, которая бы правильно определяла трехмерные позиции чрезвычайно широкого спектра объектов, и оптимизация системы для работы на типичных мобильных процессорах за долю секунды.
Специалисты обучили сверточную нейронную сеть (CNN) на миллионах пар полноценных 3D-изображений, находящихся в открытом доступе, и сопровождающих их карт глубины и использовали ранее разработанные Facebook AI методы оптимизации FBNet и ChamNet. Основной этап тренировки нейросети занял примерно три дня и потребовал 800 графических процессоров Tesla V100.
Новую функцию 3D Photos уже можно опробовать в приложении Facebook на смартфонах iPhone и Android. Более подробно ознакомиться с созданием алгоритмов и примерами их работы можно в блоге компании.
