Дипфейки выявляются автоматически через обнаружение манипуляций по улучшению качества сгенерированного видео для его убедительности (апскейлинга). На основе метода разработчики обучили нейросеть, которая анализирует видео и фото и указывает на признаки апскейлинга.
Дипфейки представляют собой синтезированные с помощью нейросетей изображения и видео, которые могут выглядеть настолько реалистично, что отличить их от настоящих крайне сложно. Эти технологии используются не только при создании качественного контента для СМИ, музеев и онлайн-магазинов, но и для мошенничества и компрометации людей. Киберпреступники применяют дипфейки для шантажа, подделки документов и фотографий, что может причинить моральный, репутационный и экономический ущерб.
Один из методов обнаружения дипфейков, основанный на обнаружении признаков т. н. апскейлинга, уже успешно разработали и проверили. Апскейлинг — это метод улучшения качества изображения путем увеличения его разрешения. Суть апскейлинга заключается в том, что с помощью специальных алгоритмов изображению добавляются дополнительные пиксели, что делает его более четким и детализированным. В контексте дипфейков апскейлинг используется для повышения качества сгенерированных искусственным интеллектом изображений, чтобы они выглядели более реалистично. Этот метод обнаружения создан участником проекта — младшим научным сотрудником Лаборатории проблем компьютерной безопасности СПб ФИЦ РАН Дмитрием Весниным.
«Мы разрабатываем алгоритмы, которые анализируют множество параметров изображения, чтобы определить, насколько оно было изменено с помощью искусственного интеллекта. Это важно, так как практически все современные смартфоны используют нейросети для улучшения фотографий. Однако при создании дипфейков фотографии изменяются гораздо сильнее и в этом и состоит отличие. Один из наших алгоритмов научился выявлять апскейлинг, то есть искусственное улучшение качества изображения за счет повышения его разрешения», — объясняет участник проекта, ведущий эксперт Международного центра цифровой криминалистики СПб ФИЦ РАН Дмитрий Левшун.
Исследователи разделили дипфейки на три типа: полностью сгенерированные нейросетью изображения, фотографии с добавленными элементами (например, замена лиц реальных людей) и модифицированные фотографии (например, изменения цвета кожи или мимики). Для обнаружения дипфейков создается база данных изображений всех трёх типов. На основе этой базы будет обучена нейросетевая модель, которая сможет определить наличие признаков целенаправленного изменения лица на фотографии, а также с помощью какого программного инструмента был создан дипфейк.
«Апскейлинг — это только один из признаков, по которым можно выявить даже качественно выполненный дипфейк. Мы планируем доработать нашу нейросеть, чтобы она могла анализировать изображения по большому числу характеристик. Наша глобальная цель — создать приложение, которое бы быстро и точно выявляло фейковые изображения и видео, защищая репутацию и финансы людей от интернет-мошенников», — пояснил руководитель проекта, руководитель Международного центра цифровой криминалистики СПб ФИЦ РАН Андрей Чечулин.
Сейчас ученые СПб ФИЦ РАН работают над созданием новой открытой библиотеки интеллектуальных методов для обнаружения поддельных и измененных фотографий лиц. Эта библиотека будет выполнять две основные задачи: выявлять подделки и определять их тип. Библиотека сможет работать в реальном времени, анализируя цифровые изображения от момента обнаружения лица до проверки его подлинности.
Анализ будет основываться на современных технологиях искусственного интеллекта и авторских нейросетевых моделях, созданных на базе лучших мировых практик и оригинальных решений учёных СПб ФИЦ РАН. Проект «Библиотека интеллектуальных методов для обнаружения преднамеренной подмены, модификации или генерации лица человека в цифровых фотографиях» поддержан грантом Фонда содействия инновациям.
