Google представил технику воссоздания пикселизированных изображений

Разработчики из команды Google Brain, занимающейся исследованиями в области искусственного интеллекта, нейронных сетей и машинного обучения, опубликовали свои наработки в области восстановления пикселизированных изображений, детализация которых была утеряна в результате масштабирования.

Предложенная система позволяет с достаточно высокой точностью восстанавливать возможное изображение даже когда имеются сведения всего о нескольких десятках пикселей. Например, на приведенном выше изображении показан результат восстановления изображения на основе имеющейся маски 8x8 пикселей. Во втором столбце размещен предложенный системой вариант, а в третьем столбце эталонное изображение, которое было уменьшено до разрешения 8x8.

Метод основан на комбинировании двух нейронных сетей. Первая сеть решает задачу сопоставления восстанавливаемого изображения 8&215;8 с эталонной коллекцией изображений более высокого разрешения. Эталонные изображения приводятся к разрешению исходного варианта (8x8) и выявляются наиболее близкие совпадения. Вторая сеть, пытается восстановить недостающие детали на исходном изображении, используя в качестве источника воссоздания утраченных деталей наиболее близкие изображения.

Например, для воссоздания изображений ванной комнаты используются детали с фотографий реальных ванных комнат, которые оказались наиболее близки при сопоставлении в низком разрешении. На последнем этапе воссоздания изображения результат работы двух нейронных сетей комбинируется.

При воссоздании деталей используется сверточная нейронная сеть pixel-cnn++, реализация которой распространяется под лицензий MIT в виде модуля для платформы глубокого машинного обучения TensorFlow.

Восстановленное изображение выглядит реалистично, но оно не является реальным, а лишь показывает как могло выглядеть реальное изображение, предлагая наиболее вероятных вариант. Результат обычно содержит детали, которых не было на исходном изображении. Для оценки точности восстановления группе добровольцев было предложено исходное изображение в высоком разрешении и два уменьшенных варианта - восстановленное в 32x32 из 8x8 и уменьшенное до 32x32. Люди ошибочно посчитали реальным восстановленное изображение в 10% случаев, если на фотографии было лицо, и в 28% случаев, если на фотографии была ванная комната. Bдеальным был бы результат в 50%, который указывал бы на то, что изображения неотличимы.