Созданы наушники, которые точно распознают выражение лица
Американские исследователи разработали наушники, умеющие отслеживать мимику пользователя, даже если он надел маску. Устройство C-Face мониторит контуры щек и преобразует мимические движения в эмодзи. Такая технология позволит людям, к примеру, передавать свое настроение во время групповых звонков, не включая веб-камеру.
Устройство C-Face, созданное в лаборатории SciFi Корнеллского университета, проще, удобнее и производительнее, чем любая из существующих носимых технологий для отслеживания мимики лица, утверждает директор лаборатории Чэн Чжан. Оно обходится без прикрепленных к лицу датчиков и распознают широкий спектр эмоций, сообщает Engadget.
На наушниках установлены RGB-камеры, расположенные под каждым ухом. Они записывают изменения в контурах щек, которые происходят, когда сокращаются мимические мышцы.
Затем изображения реконструирует система компьютерного зрения и модель глубокого обучения на базе сверточной нейросети анализирует полученные двухмерные картинки. Технология позволяет точно сопоставить 42 характерных положения рта, глаз и бровей пользователя с определенными гримасами, которые C-Face "переводит" в восемь эмодзи, включая нейтральное и сердитое выражение лица.
С помощью C-Face можно управлять музыкальным плеером, отслеживать реакцию студентов во время дистанционного обучения, сообщать о своем настроении, не включая веб-камеру, или управлять мимикой аватара в виртуальной реальности.
