Нейросеть научили создавать песни

Китайские ученые представили алгоритм по созданию песни из записи речи. Нейросеть также способна и на обратный процесс. Подробности разработки и результаты тестирования опубликовал arXiv.org.

Группа исследователей из компании Tencent учла типичные проблемы в разработке других программ по синтезу речи - обработкой большого объема данных для обучения.

Ранее для "музыкализации" одного конкретного человека необходимо было обработать значительное количество певческих образцов. Новый алгоритм китайских разработчиков довольствуется только записью речи в качестве образца, не требуя от испытуемого надрывать связки в попытках пропеть текст.

За основу использовали нейросеть DurIAN, предназначенный для синтеза реалистичных видеороликов с говорящим ведущим на основе текста.

Алгоритм обучили на собственных 1,5 часа записей пения и 28 часах речи. После чего эффективность проверили на 14 добровольцах. Самые удачные варианты опубликовали на сайте разработчика.

Ранее в Китае представили робота-кошку, который обладает эмоциями и умеет копаться в мусоре.