Google помог голосовым ассистентам понимать язык жестов

Похоже, что голосовые интерфейсы будут пользоваться популярностью в будущем, и вскоре они появятся в телефонах, умных динамиках и даже бытовой технике. Но насколько полезной эта технология для людей, которые не общаются с помощью речи?

Видео с новой технологией:

Разработчики ПО Abhishek Singh создали мод, позволяющий помощнику Amazon Alexa понять некоторые простые команды жестового языка. В видеоролике Сингх демонстрирует, как работает система. Amazon Echo подключается к ноутбуку с веб-камерой (и некоторым программным обеспечением для обучения компьютеру), декодирующим жесты Сингха в тексте и речи.

Программист Сингх заявляет, что проект был экспериментом, который неожиданно далеко зашел. "Если эти устройства должны стать центральным способом взаимодействия с нашими домами или выполнения задач, тогда необходимо подумать о тех, кто не может слышать или говорить", - говорит Сингх.

Сам фактический мод был сделан с помощью программного обеспечения TensorFlow от Google, в частности TensorFlow.js, которое позволяет пользователям кодировать приложения для обучения машинам в JavaScript (что упрощает запуск приложений в веб-браузерах).