В ВШЭ создали систему, распознающую эмоции в речи

Сотрудники факультета информатики, математики и компьютерных наук Нижегородского филиала ВШЭ создали автоматическую систему, способную определять эмоции по голосу, рассказали в ВШЭ. Разработчики преобразовывали звук в изображения - спектрограммы. Это позволило работать со звуком методами, применяемыми для распознавания изображений. В исследовании использовалась сверточная нейронная сеть глубокого обучения с архитектурой VGG-16.

Нейронная сеть может распознать восемь различных состояний: "нейтральный", "спокойный", "счастливый", "грустный", "злой", "испуганный", "отвращение", "удивление". Наиболее успешно программа различает нейтральные и спокойные интонации, поделились создатели. А вот счастье и удивление распознаются не всегда: счастье часто воспринимается как страх и печаль, а удивление - как отвращение.

Исследователи рассказали, что компьютер правильно определил эмоцию в 70% случаев.