ИИ научился видеть объем в фотографиях и картинах

Как правило, люди легко могут сказать, какие объекты на фотографии находятся ближе, а какие дальше. Для компьютеров же эта, так называемая монокулярная оценка глубины, представляет серьезную проблему.

В своей недавней публикации исследователи из Лаборатории вычислительной фотографии канадского Университета Саймона Фрейзера (SFU) рассказали, как им удалось в сотрудничестве с Adobe Research решить эту задачу, обучив нейронную сеть составлять распределение (карту) глубин для фотографии или картины.

В последние годы в этой области был достигнут большой прогресс, но имеющиеся решения не могут обеспечить достаточно высокого разрешения для преобразования плоского изображения в его объемный (3D) аналог.

Авторы новой работы объясняют этот недостаток существующих методов ограничениями сверточных нейронных сетей, которые пока не могут генерировать множество деталей одновременно. Другим ограничением для понимания сложных сцен является количество пикселей, на которое эти сети могут "смотреть" одновременно.

"Мы анализируем изображение и оптимизируем наш процесс, просматривая содержимое картинки с учетом ограничений текущих архитектур, - говорит Себастьян Дилле (Sebastian Dille), аспирант той же лаборатории. - Мы передаем наше входное изображение сети во многих различных формах, чтобы создать столько деталей, сколько позволяет модель, сохраняя при этом реалистичную геометрию".

Увеличение разрешения позволило создавать подробные 3D-изображения, которые выглядят реалистично для человеческого глаза. Эту технологию уже взяли на вооружение тиктокеры и компьютерные художники. Так, Акира Сайто (Akira Saito) из Японии, создает клипы, которые переносят зрителей в фантастические трехмерные миры, прячущиеся в картинах известных художников.

Участники работы уже думают, как расширить ее на видео. В их планах также разработка новых инструментов, которые сделают карты глубины более полезными для создателей креативного контента.

Университеты