Microsoft научила нейросеть создавать картинки по описанию
Команда ученых из Microsoft Research, Университета Олбани и JD AI Research опубликовала новое исследование. В нем описана работа нейросети, способной создавать образы на основе текстового описания.
Нейросеть типа Obj-GAN (Object-driven Attentive Generative Adversarial Newtork) способна создать картинку по точному описанию, начиная с ее наброска и заканчивая проработкой деталей. Об этом сообщает Информатор Tech, ссылаясь на исследование команды.
«Масштабные эксперименты показывают, что ObjGAN способна эффективно генерировать сложные сцены, преобразовывая текст в изображение», - сообщили специалисты.
Нейросеть смоделирована таким образом, чтобы она работала подобно художнику, прорабатывающему сложные сцены: от простых деталей к сложным. Система разделяет текст на отдельные слова и сопоставляет их с объектами, проверяя правильность такого сопоставления, и есть ли у него смысл в контексте целого описания.
Само собой, пока результаты неидеальны: нейросеть может генерировать логически несвязные образы, вроде поезда, стоящего на травянистом холме для описания «Пассажирский поезд катится по рельсам».
Ранее сообщалось, что нейросеть научилась создавать лицо человека по его голосу. Помимо этого, нейросеть придумала новый вид спорта.
