Говорит и двигается: нейросеть «оживила» Достоевского
Российские специалисты разработали алгоритм, благодаря которому нейросеть превращает статичные портреты в анимированные. Таким образом удалось «оживить» Достоевского. На видео он говорит и двигается.
Ученым удалось «оживить» знаменитого во всем мире писателя 19 века - Ф.М. Достоевского. Эксперимент был осуществлен с помощью нейросети.
Суть анимирования статичного изображения заключается в том, что сверточная нейросеть берет за основу маску человеческого лица с видеоряда. Затем она переносится на изображение, которое в последующем «оживает».
Одной из основных проблем, по словам разработчиков, является реалистичность мимики при произношении слов «ожившим» портретом. Задача была решена группой специалистов из Samsung и «Сколково». В качестве руководителя проекта выступил Егор Захаров.
Ученым удалось разработать алгоритм, для которого требуется лишь два изображения - исходная картинка и цель. Нейросеть была обучена на большом количестве кадров, где запечатлены лица людей, на каждое из которых была наложена маска, обозначающая границы лица, а также базовую мимику.
В результате при минимуме затрат разработчики научили нейросеть «оживлять» портреты. В качестве эксперимента специалисты научили говорить и двигаться Достоевского. При этом для создания анимации достаточно лишь одного изображения источника.
Пользователей Сети эксперимент заинтересовал, они даже предложили «через такую нейросеть прогнать Пушкина А.С., Толстого, Горького, Петра I и т. д.».
