В NVIDIA создали интеллект-технологию для восстановления сильно поврежденных снимков
В компании NVIDIA разработали технологию для восстановления утраченных элементов фото и других изображений. Функция напоминает инструмент программы Photoshop "Заливка с учетом содержимого" (Content-Aware Fill), однако значительно более "реалистична".
Разработчики использовали новые технологии с элементами искусственного интеллекта для удивительно точной реконструкции снимков. Двухминутный ролик представляет результаты и показывает примеры "модификации" изображений.
Самое удивительное в новой технологии NVIDIA состоит в том, что информация для заполнения утраченных участков не извлекается из окружающих пикселей, как это происходит в случае фотошоповской "Заливки с учетом содержимого". Система NVIDIA "понимает", как должен выглядеть объект.
Например, если вы примените инструмент Content-Aware Fill к белым "дыркам" в местах, где на лице должны быть глаза - в результате промежутки заполнятся фрагментами окружающего изображения, взятыми из кожи, бровей, носа и прически.
Алгоритмы же NVIDIA понимают, что в этом участке на лице должны быть глаза, так что он и добавляет глаза - самостоятельно генерируя их.
Например, на этом портрете "утеряны" огромные участки изображения:
Результат работы инструмента Content-Aware Fill:
А эту картинку создал алгоритм NVIDIA:
Исходный портрет:
Как и инструмент "Заливки с учетом содержимого", система NVIDIA может применяться как для восстановления утраченного содержимого, так и для устранения дефектов и коррекции неудачных участков изображения.
Разработчики NVIDIA опубликовали статью, озаглавленную "Ретуширование дефектов изображения неправильной формы с помощью частичной свертки".
"Наша модель может эффективно справляться с дырами любой формы, размера, расположения и расстояния до границ изображения", - пишут авторы. - Предыдущие подходы глубинного обучения фокусировались на прямоугольных областях, расположенных вокруг центра изображения, и часто требовали обширной пост-обработки. Наша же модель корректно обрабатывает дыры даже большого размера".
Исследователи обучали свою интеллектуальную систему с помощью 55 тысяч случайных конфигураций дыр и трещин, примененных к огромной коллекции фотографий. Сравнивая снимки с дефектами и исходные изображения, нейронная сеть обучалась реконструированию утерянных пикселей. Дополнительные 25 тысяч масок были использованы на стадии тестирования.
Подобная технология также может применятся для крайне трудноопределяемой точечной "дорисовки" вымышленных фотографий на основе реальных снимков. В свете все более широкого распространения фейковых новостей, применение такой технологии может нести известные риски создания опасных фотоподделок.
Видео: youtube.com/NVIDIA
