Новая система ИИ переводит сигналы мозга человека в текст с точностью до 97%
В рамках проекта группа ученых провела эксперимент с четырьмя пациентами с эпилепсией, в мозг которых вживили специальные электроды для мониторинга судом.
Исследователи Калифорнийского университета решили усовершенствовать технологию ИИ для декодирования электрокортикограммы, использовав новый метод.
Он заключается в записи электрических импульсов, возникающих при кортикальной активности, зарегистрированными имплантированными в мозг электродами, пишет Science alert.
В рамках проекта группа ученых провела эксперимент с четырьмя пациентами с эпилепсией, в мозг которых вживили специальные электроды для мониторинга припадков. Участники прочитали и повторили несколько предложений вслух в то время, как электроды записывали активность их мозга во время упражнения.
Затем эти данные передали в нейронную сеть, которая проанализировала закономерности мозговой активности, соответствующие определенным речевым сигнатурам - гласные, согласные и движение рта.
Другая нейронная сеть расшифровала эти представления из повторов 30-50 озвученных фраз и использовала их, чтобы попытаться предсказать сказанное, основываясь сугубо на пробковых сигнатурах слов.
Ученые детализировали многочисленные примеры фраз, произнесенные участниками, наряду с «предсказаниями», которые были сгенерированы сетью, иногда ошибочными, но не всегда.
Впрочем, когда ошибки были очевидны, они, похоже, сильно отличались от результатов неправильного восприятия языка человеческими ушами. Примеры ошибок: «музей нанимает музыкантов каждый вечер», что было предусмотрено как: «музей нанимает музыкантов каждого дорогого утра». Или: «часть торта съел пес» - «часть торта была выпечена» и др.
В наименее точных случаях у ошибок практически нет семантического или фонетического отношения к тому, о чем шла речь: «она носила теплые ворсистые шерстяные комбинезоны», что интерпретировалось как «оазис - мираж».
Несмотря на странность очевидных ошибок, в целом, система может стать новым эталоном для декодирования мозговой деятельности на основе ИИ, отмечают авторы исследования.
