Искусственный интеллект определяет дипфейки «по глазам»
Ученые по информатике университета штата Нью-Йорк в Баффало разработали инструмент, который автоматически определяет дипфейки среди портретов после анализа отблеска света в глазах.
Этот инструмент оказался эффективным на 94% при использовании портретных фотографий в экспериментах, что ученые описали в исследовании. В этом году работу выбрали для участия в Конференции Института инженеров по электротехнике и электронике (IEEE), которая состоится в июле в Канаде.
"Роговица похожа на идеальную полусферу и отражает свет, - сказал ведущий автор статьи Сивей Лю, доктор философии, профессор инноваций SUNY Empire в отделе вычислительной техники. - Значит, все, что попадает в глаз со светом, который излучают источники, будет отображено на роговице ".
Он добавил, что "два глаза имеют очень схожие светоотражающие узоры, поскольку видят одно и то же. Это та черта, которую мы, как правило, не замечаем, когда смотрим на лицо ". На реальных фотографиях отображения объектов в глазах - одинаковые. Изображения, которые генерирует искусственный интеллект, наоборот, неточно подбираются из-за того, что фото состоит из множества других снимков.
Инструмент Лю использует этот недостаток и замечает крошечные отклонения света, который отражается в глазах людей с ненастоящих портретов. Он осматривает глаза, глазные яблоки и свет, отражающийся в каждом из них, а также подробно сравнивает потенциальные различия в форме и интенсивности отблеска света.
Для проведения экспериментов исследовательская группа получила реальные изображения с Flickr Faces-HQ, а также фейковые портреты с веб-сайта - хранилища лиц, которые создал искусственный интеллект. Все изображения были портретными, то есть изображали людей, которые смотрят непосредственно в камеру при хорошем освещении и имели размер 1024 на 1024 пикселя.
В технологии Лю есть несколько ограничений. Она требует источника света, который сверкает на роговице, и рассматривает отдельные пиксели, а не общую форму глаз и объектов, которые отражаются в них. Также искусственный интеллект анализирует оба глаза, однако если на изображении он только один, определение дипфейка становится невозможным.
"Дипфейк" состоит из двух английских слов: "deep" - глубокий, и "fake" - подделка.
Википедия так объясняет этот термин, появившийся недавно: "синтез слов "глубинное обучение" и "подделка", методика синтеза изображения человека, основанная на искусственном интеллекте. Она используется для соединения и наложения существующих изображений и видео на исходные изображения или видеоролики".
Самым известным фейковым видео (дипфейк) стало сфальсифицированное выступление Барака Обамы, где он обзывал Дональда Трампа засранцем.
Миллионы людей зашли на Ютуб послушать слова президента, которых тот никогда не говорил. Никакого скандала не было, сразу же в кадре появился режиссер Джордан Пол, автор подделки, который объяснил, что этой творческой выходкой он попытался привлечь внимание к цифровой дезинформации.
