Новый алгоритм Adobe способен менять время суток и погоду на фотографиях

С появлением нейронных сетей разработчикам больше не нужно обрабатывать большие объемы данных для достижения какого-либо результата. Многие сервисы сейчас сами обучаются и со временем все лучше и лучше справляются с поставленными задачами. Освоить подобные технологии решила и компания Adobe, известная своим фоторедактором Photoshop и другим программным обеспечением. В сотрудничестве с исследователями из Корнеллского университета в Нью-Йорке она разработала алгоритм, способный автоматически менять время суток и погодные условия на фотографиях.

На примере видно, как алгоритм обрабатывает исходную фотографию по заданному примеру:

Подобный эффект можно получить и вручную, но для этого потребуется много времени и умение работать в графических редакторах. Как видно на примерах, нейронные сети не просто меняют цветовую палитру, но и добавляют на окна домов блики и отражения, как если бы там действительно был закат. Более того, разработанный алгоритм может не только менять тон фотографии, но и объединять изображения.

Adobe утверждает, что ее программное обеспечение использует аналогичный подход, что и популярное приложение Prisma, которое преобразовывает фотографии в стиле картин известных художников.

"Наш подход основан на недавних работах по передаче живописи, которые отделяют стиль от содержания изображения, задействуя разные уровни нейронной сети. Однако этот подход не подходит для передачи фотореалистичного стиля. Даже когда оба исходных и желаемых изображения являются фотографиями, на выходе все еще присутствуют искажения, напоминающие картину. Наша цель заключается в том, чтобы ограничить преобразование от входных данных до выходных локально в цветовом аффинном пространстве и отделить это как пользовательский слой CNN. Мы демонстрируем, как этот подход успешно подавляет искажения и дает удовлетворительный перенос фотореалистичного стиля в целом ряде сценариев, включая передачу времени суток, погоды, сезона и прочего", - рассказали представители Adobe.

Возможно, что такая функция будет встроена в будущие версии фоторедакторов Adobe.