Математики научили искусственный разум реалистично раскрашивать фотографии
Математики из университета Беркли создали новую систему искусственного интеллекта, способную "раскрашивать" черно-белые фотографии реалистичным образом так, как этого хочет пользователь, и представили ее миру на конференции SIGGRAPH 2017.
"В прошлом мы уже разрабатывали системы, которые могут раскрашивать фотографии, но результаты их работы поменять было нельзя. Если пользователю что-то не нравилось, то тогда ему приходилось или мириться с "творчеством" компьютера, или самостоятельно раскрашивать кадры или фотографии. Мы решили "включить" человека в процесс обработки картинки для того, чтобы он мог влиять на конечный результат", - рассказывает Ричард Чжан (Richard Zhang), один из создателей новой системы ИИ.
В последние годы, благодаря развитию математики и росту вычислительных мощностей компьютеров, у ученых появилась возможность создавать сложные нейросети, системы искусственного интеллекта, способные исполнять нетривиальные задачи и даже "мыслить" креативно, создавая новые образцы искусства и технологий.
К примеру, только за последний год ученые создали ИИ, способные обыграть человека в "непросчитываемую" древнекитайскую игру Го, отыскивать важнейшие события в истории по газетам, писать сценарии к компьютерным играм и раскрашивать фотографии и видеоролики под Ван Гога, и рисовать свои собственные картины. В начале года ученые представили систему ИИ, умеющую отличать родинки от рака кожи лучше, чем это делают самые опытные дерматологи.
Как отмечает Чжан, подобные технологии сегодня становятся особенно популярными среди любителей кино и представителей киноиндустрии, так как они позволяют "раскрашивать" классические киноленты начала и середины 20 века, снятые на черно-белую пленку, и делать их более привлекательными для современной публики.
Проблема заключается в том, что уже существующие системы машинного обучения не всегда справляются с этой задачей - иногда они раскрашивают снимки и кадры в "неправильные" цвета, и художникам приходится вручную их перерисовывать. Это заметно повышает расходы на "раскраску" фильма и затягивает этот процесс на многие недели и месяцы.
Чжан и его коллеги создали новый алгоритм, который может не только самостоятельно раскрашивать фотографии, но и использовать подсказки, которые ему оставляет человек, помечая уголки "неправильно" раскрашенных предметов их предположительным цветом. Создание подобной системы не было простой задачей, как может показаться стороннему наблюдателю, так как ученым пришлось придумать способ реалистичной имитации действий пользователя для того, чтобы натренировать нейросеть.
Подобный подход, в качестве дополнительного бонуса, позволил ученым не только улучшить качество "раскраски" фотографий и ускорить этот процесс, но и создал возможность превращать фотографии в предметы искусства, раскрашивая их в причудливые цвета. К примеру, некоторые пользователи, участвовавшие в тестировании программы, раскрашивали слонов в розовые цвета, а фотографии мужчин - в "двойников" главного героя комиксов и фильма "Маска".
Как показали первые опыты с этой системой, фотографии, раскрашенные подобным образом, чаще казались сторонним наблюдателям более реальными, чем настоящие снимки, и при этом обучение работе с ней занимало всего несколько минут. Исходный код и примеры работы этого алгоритма были выложены в открытый доступ, и ими может воспользоваться любой желающий.
