Воссоздание содержимого на экране через анализ звуковых колебаний от LCD-монитора
Группа исследователей из университетов Израиля и США разработали (PDF) технику определения содержимого экрана при помощи анализа звуковых колебаний, исходящих от LCD-мониторов. Представлено несколько прототипов атак, которые позволяют определить типовые сайты, открываемые в браузере, распознать вводимые через виртуальную клавиатуру символы и даже с определенной вероятностью воссоздать текст, вводимый в типовых полях ввода.
Атаке оказались подвержены различные модели мониторов от разных производителей, включая мониторы от Dell, Samsung, HP, ViewSonic, Philips, Soyo и Apple, самый старый из протестированных мониторов был выпущен в 2003 году, а самый новый в 2017. Суть метода состоит в сопоставлении незначительных звуков, которые монитор издает во время вывода изображения, с реальным содержимым экрана. Звук издают цепи питания и его характер зависит от энергопотребелния, которое меняется в зависимости от характера выводимой на экран информации.
Таким образом экранный вывод модулируется в звуковой фон и различная информация имеет свою звуковую сигнатуру. Для определения связи применяется система машинного обучения, для которой требуется проведение калибровки и создание индивидуальной модели. Модель машинного обучения строится с учетом характеристик звуковых колебаний конкретного монитора и привязывается к выводу типового содержимого (например, перебираются разные варианты ввода на определенном сайте, и в дальнейшем модель может применяться при работе пользователя с этим сайтом).
Для приема звука достаточно встроенного в web-камеру микрофона или микрофона смартфона, положенного рядом с экраном. При этом у атакующего не обязательно должен быть доступ к системе, так как возможно совершение атаки через анализ фоновых звуков во время проведения видеоконференции (атака протестирована с использованием Skype и Hangouts) или через изучение записей, созданных умными колонками, такими как Amazon Echo или Google Home. При использовании специализированного направленного микрофона проведение атаки возможно на расстоянии до 10 метров от монитора.
В ходе эксперимента продемонстрирована возможность использования микрофона для определения текста, вводимого для отправки по электронной почте или через мессенджер. Тем не менее атака представляет скорее теоретический интерес и достаточно трудна для реализации на практики. Например, для успешности эксперимента по определению отображаемого на экране текста требовалось выполнение ряда условий, таких как достаточно большой размер отображаемых символов, применение моноширинного шрифта и посимвольный ввод текста в форме с заранее известном окружении (например, атакующий должен знать на каком сайте заполняется форма). Для осуществления реальной атаки также требуется учитывать тип и положение микрофона, и отсеивать окружающий шум.
Исследователями было проведено несколько тестов в обычном офисном помещении при наличии шума от другой электронной техники и говорящих в комнате людей. В тесте на определение сайта (были подготовлены модели для 97 популярных сайтов), открытого на экране пользователя, уровень ошибок составил 8% при помещении микрофона или смартфона рядом с экраном и 16% при использовании удаленного направленного микрофона. Дополнительный учет положения микрофона позволил снизить уровень ошибок до 3% и 9%.
В тесте на определение вводимых символов точность распознавания составила от 88% до 98%. При проверке 100 тестовых слов правильно удалось определить наиболее вероятное слово в 56 случаях, в 72 случаях введенное слово входило в список 5 наиболее вероятных слов, предложенных системой машинного обучения, предварительно обученной на примерах ввода 55 тысяч слов.
