Программу для выявления дипфейков впервые удалось обмануть

В последнее время технологичные гиганты вроде Microsoft и Facebook занимались разработкой ПО, способного с высокой точностью определять поддельные видео, основанные на нейросети Deepfake. Как оказалось, подобные системы легко обмануть, что недавно доказали программисты из США.

Группа ученых из Калифорнийского университета в Сан-Диего представила результаты исследования на конференции по компьютерному зрению WACV 2021. По их словам, достаточно использовать так называемые «состязательные» примеры, представляющие собой измененные входные данные в каждом отдельном кадре видеопотока. Выяснилось, что подобный метод работает даже после сжатия и постобработки.

Нейронные сети, умеющие выявлять поддельное видео, концентрируются на элементах, которые современные алгоритмы Deepfake пока не способны качественно обрабатывать. В первую очередь это мигание и некоторые другие сцены. Обнаружилось, что в данном случае злоумышленнику достаточно обладать знаниями об особенностях работы ПО, выявляющего поддельное видео.

Так, если авторы Deepfake имели полный доступ к модели детектора, то вероятность обмана системы доходила до 99%. В то же время, если злоумышленник имел лишь частичный доступ к ПО, то шансы создать видеоряд, проходящий проверку, снижались до 86%. Авторы методики отказались выкладывать ее в открытый доступ.

Microsoft Университеты