Инженер научил очки распознавать жесты и управлять умным домом
Американский инженер создал умные очки, понимающие, на что именно смотрит пользователь, и распознающие его жесты по отношению к этому объекту. К примеру, они позволяют взмахом руки включить лампу или музыку на колонке, рассказывает разработчик на странице проекта на GitHub.
На сегодняшний день существует множество систем умного дома, позволяющих управлять устройствами, не прикасаясь к ним. Многие из них работают на основе голосовых помощников и принимают команды в голосовом виде. Но если многие устройства в доме подключены к такой системе, возникает проблема: как определить, о каком именно устройстве говорит пользователь?
Инженер Ник Билд (Nick Bild) создал умные очки, понимающие, на какой именно предмет, подключенный к системе умного дома, показывает пользователь. Он взял за основу не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительную электронику. На одной из дужек он закрепил камеру для одноплатного компьютера Raspberry Pi, которая через провод подключена к плате NVIDIA Jetson Nano. Эту плату инженер разместил в картонной коробке, которую можно повесить на шею.
Разработчик реализовал управление устройствами жестами с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая распознает жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки с помощью Wi-Fi посылают команду на устройство.
Инженер обучил алгоритмы на двух самостоятельно собранных датасетах, каждый из которых содержал более 10 тысяч кадров. Пока разработчик научил систему принимать в качестве команды лишь взмах руки, однако он выложил код и обучающие данные на GitHub, поэтому любой желающий может дообучить модель для своих жестов.
