Производители видеокарт научили нейросеть бороться с шумом на фотографиях
Разработчики из NVIDIA создали нейросеть, способную убирать шум с фотографий практически без искажений. Важное отличие этого алгоритма от похожих разработок заключается в том, что его обучали только на фотографиях, на которых уже был шум, рассказывают авторы работы, которая была представлена на конференции ICML 2018.
Группа разработчиков под руководством Тимо Айло (Timo Aila) из исследовательского подразделения NVIDIA предположила, что в некоторых условиях алгоритм можно обучить восстанавливать сигнал в месте шума, используя только изображения с шумом, то есть не предоставляя ему доступ к искомой части изображения. Вместо обучения на парах с одним чистым изображением исследователи применили обучение на паре изображений со случайным шумом. Разработчики отмечают, что по сути это аналогично тому, как фотоаппарат на длинной выдержке в темноте создает относительно чистое изображение из множества изображений с низкой выдержкой и низким отношением сигнал-шум.
Исследователи использовали для проверки подхода две сверточные нейросети: для большей части работы применялась сеть U-Net, а для одного из тестов исследователи использовали вместо нее остаточную сеть RED30. Авторы использовали в качестве обучающей выборки 50 тысяч изображений с разрешением 256 на 256 пикселей. Ко всем изображениям добавляли искусственный шум, причем для каждой пары изображений уровень шума был тоже случайным и нейросети необходимо было учитывать это при очистке изображения. Кроме того, алгоритмы обучались на рендерах помещений, фотографиях с нанесенными на них разноцветными надписями и других обучающих объектах.
Нейросети обучались в течение нескольких сотен и тысяч эпох (проходов по обучающей выборке), после чего их работу сравнивали с алгоритмами, обучавшимися на парах чистых изображений и изображений с шумом, а также с исходными изображениями. В качестве основной характеристики работы алгоритма авторы использовали пиковое отношение сигнала к шуму (PSNR), которое обычно применяют для оценки алгоритмов для подавления шума. В результате исследователям удалось подтвердить их гипотезу, согласно которой алгоритм можно обучить восстанавливать сигнал, не имея доступа к исходному изображению, с качеством, близким к алгоритмам, обучаемым на чистых изображениях без шума.
Помимо применения техники в фотографии, в частности в астрофотографии или съемке в темноте, разработчики также предложили применять ее для повышения качества снимков МРТ и продемонстрировали примеры работы алгоритма на таких снимках:
