Нейробиологи перекодировали речевые сигналы мозга в текст
Нейробиологи превратили мозговые сигналы в текстовые предложения. Цель этого исследовательского проекта - оказать помощь в общении пациентам с серьезными нарушениями.
Впервые в истории ученые продемонстрировали, как намерение сказать конкретные слова можно извлечь из мозговой активности и преобразовать в текст настолько быстро, чтобы человек мог поддерживать естественный разговор.
В своем нынешнем виде новое программное обеспечение работает только для определенных предложений, на которых оно было обучено. Однако ученые говорят, что это лишь первая ступенька к созданию более мощной системы, которая сможет в реальном времени декодировать слова, которые человек только намеревается сказать.
Врачи-нейробиологи из Калифорнийского университета в Сан-Франциско хотят создать продукт, который позволит парализованным людям общаться более резво, чем с использованием существующих устройств, которые улавливают движения глаз и сокращения мышц для управления виртуальной клавиатурой.
"На сегодняшний день не существует речевой протезной системы, которая позволяла бы пользователям реагировать в кратчайшие сроки естественного человеческого разговора", - сказал Эдвард Чанг, нейрохирург и ведущий автор исследования, опубликованного в журнале Nature.
Ход исследования
Исследование, профинансированное компанией Facebook, стало возможным благодаря трем пациентам с эпилепсией, которым предстояло пройти нейрохирургическое лечение. До проведения операций всем трем непосредственно в мозг сроком на неделю установили крошечные электроды, которые отображали происхождение судорог пациентов.
Во время пребывания в больнице пациенты, каждый из которых мог нормально говорить, согласились принять участие в исследовании Чанга. Он использовал электроды для фиксации активности мозга, в то время как каждому пациенту задали по девять вопросов и предложили прочитать список из 24 возможных ответов.
Получив записи с электродов, Чанг и его команда создали компьютерные модели, которые научились сопоставлять конкретные модели мозговой деятельности с вопросами, которые слышали пациенты, и ответами, которые они говорили. После обучения программное обеспечение смогло по сигналам мозга почти мгновенно идентифицировать, какой вопрос слышал пациент и какой ответ он дал, с точностью 76% и 61% соответственно.
Несмотря на рудиментарность, система позволяла пациентам отвечать на вопросы о музыке, которая им нравилась; о их самочувствии; о температуре и освещении в их комнате; и о том, когда они хотели бы снова увидеть медсестру.
Как будет развиваться технология
Чтобы устройство могло преобразовывать сигналы мозга в более разнообразную речь, потребуются алгоритмы, обученные на огромном объеме записей разговоров и соответствующих им данных о мозговых сигналах, которые могут варьироваться от пациента к пациенту.
Другая цель - научить программу читать "воображаемую речь", то есть предложения, произнесенные в уме. На данный момент система обнаруживает сигналы мозга, которые посылаются для движения губами, языком, челюстью и гортанью - другими словами, аппаратом речи. Но для пациентов с травмами или нейродегенеративными заболеваниями этих сигналов может быть недостаточно.
