Искусственный интеллект перевел мозговые сигналы в текст с невероятной точностью
Однажды ИИ сможет вернуть голос пациентам, которые потеряли способность говорить.
Это уже не научная фантастика - системы искусственного интеллекта (ИИ) действительно могут преобразовать мозговую активность человека в текстовую речь. Исследователи из Калифорнийского университета в Сан-Франциско доказали это в новом эксперименте.
Команда во главе с нейрохирургом Эдвардом Чангом использовала новый метод для декодирования электрокортикограммы. Это запись электрических импульсов, возникающих во время кортикальной активности, которые регистрируются электродами, имплантированными в мозг испытуемого.
В исследовании участвовали четыре пациента с эпилепсией. Электроды были имплантированы в их мозг для мониторинга судорог, а не специально для изучения мозговой активности. Тем не менее, они согласились поучаствовать в эксперименте с обучением ИИ.
Как проходил эксперимент
Участники эксперимента прочитали и повторили вслух несколько предложений, а электроды в это время регистрировали активность их мозга.
Затем данные передавались нейронной сети, которая определяла, какие движения рта при воспроизведении звуков соответствуют определенной мозговой активности, и выстаивала закономерности.
После этого другая нейронная сеть на основе составленных закономерностей пыталась понять, что сказал человек, основываясь только на данных о его мозговой активности.
Частота ошибок ИИ при переводе составила всего 3 процента. Примеры ошибок: предложение "музей нанимает музыкантов каждый вечер" (the museum hires musicians every evening) было переведено как "музей нанимает музыкантов каждое дорогое утро" (the museum hires musicians every expensive morning); "часть торта была съедена собакой" (part of the cake was eaten by the dog) было переведено "часть торта была печеньем" (part of the cake was the cookie); "Тина Тернер - поп-певица" (Tina Turner is a pop singer) превратилось в "действительно Тернер - поп-певица" (did turner is a pop singer).
В редких случаях результаты перевода практически не имели отношения к тому, о чем на самом деле говорилось. К примеру, предложение "она носила теплые ворсистые шерстяные комбинезоны" (she wore warm fleecy woollen overalls) почему-то было переведено как "этот оазис был миражом" (the oasis was a mirage).
Однако несмотря на подобные ошибки, система в целом удачно справлялась с декодированием мозговых сигналов. Команда считает, что однажды ИИ поможет вернуть голос пациентам, которые потеряли способность говорить.
Результаты эксперимента представлены в журнале "Nature Neuroscience".
