Новая система ИИ переводит сигналы мозга человека в текст с точностью до 97%

В рамках проекта группа ученых провела эксперимент с четырьмя пациентами с эпилепсией, в мозг которых вживили специальные электроды для мониторинга судом.

Исследователи Калифорнийского университета решили усовершенствовать технологию ИИ для декодирования электрокортикограммы, использовав новый метод.

Он заключается в записи электрических импульсов, возникающих при кортикальной активности, зарегистрированными имплантированными в мозг электродами, пишет Science alert.

В рамках проекта группа ученых провела эксперимент с четырьмя пациентами с эпилепсией, в мозг которых вживили специальные электроды для мониторинга припадков. Участники прочитали и повторили несколько предложений вслух в то время, как электроды записывали активность их мозга во время упражнения.

Затем эти данные передали в нейронную сеть, которая проанализировала закономерности мозговой активности, соответствующие определенным речевым сигнатурам - гласные, согласные и движение рта.

Другая нейронная сеть расшифровала эти представления из повторов 30-50 озвученных фраз и использовала их, чтобы попытаться предсказать сказанное, основываясь сугубо на пробковых сигнатурах слов.

Ученые детализировали многочисленные примеры фраз, произнесенные участниками, наряду с «предсказаниями», которые были сгенерированы сетью, иногда ошибочными, но не всегда.

Впрочем, когда ошибки были очевидны, они, похоже, сильно отличались от результатов неправильного восприятия языка человеческими ушами. Примеры ошибок: «музей нанимает музыкантов каждый вечер», что было предусмотрено как: «музей нанимает музыкантов каждого дорогого утра». Или: «часть торта съел пес» - «часть торта была выпечена» и др.

В наименее точных случаях у ошибок практически нет семантического или фонетического отношения к тому, о чем шла речь: «она носила теплые ворсистые шерстяные комбинезоны», что интерпретировалось как «оазис - мираж».

Несмотря на странность очевидных ошибок, в целом, система может стать новым эталоном для декодирования мозговой деятельности на основе ИИ, отмечают авторы исследования.

Университеты