В Германии разработали ИИ, который объясняет, почему считает изображение дипфейком
Фото: iosb.fraunhofer.de
В Германии представили систему обнаружения дипфейков нового поколения: она не просто определяет вероятность подделки, но и показывает, какие детали изображения повлияли на вывод алгоритма.
В Германии представили систему RealOrRender, которая умеет не только определять, создано ли изображение искусственным интеллектом, но и объяснять, почему она пришла к такому выводу. Разработку представили Институт Фраунгофера IOSB и Федеральное ведомство по информационной безопасности Германии (BSI).
В отличие от большинства существующих детекторов дипфейков, новая система показывает, какие именно детали изображения вызвали подозрения. Это помогает понять, почему алгоритм считает картинку настоящей или сгенерированной ИИ.
Сначала RealOrRender анализирует изображение и пытается заново его «воссоздать» с помощью генеративной модели. Затем второй алгоритм сравнивает результаты и определяет вероятность того, что изображение было создано искусственным интеллектом.
«Сначала мы используем ИИ для реконструкции изображения. Затем модель анализирует результат и рассчитывает вероятность того, что изображение создано искусственным интеллектом. В целом точность обнаружения составляет от 85 до 91%, а в отдельных случаях может быть еще выше», — рассказал старший научный сотрудник исследовательской группы Video-Assisted Security and Assistance Systems Андреас Шпекер.
Еще одна особенность разработки — использование технологий объяснимого искусственного интеллекта (Explainable AI). Вместо простого ответа «это дипфейк» система показывает, какие участки изображения, текстуры или другие визуальные особенности повлияли на решение.
«Мы выделяем области изображения и структуры, которые повлияли на вывод модели. Благодаря этому можно понять, почему изображение было классифицировано как настоящее или созданное искусственным интеллектом», — пояснила руководитель группы Applied Explainable AI Надия Буркарт.
По словам разработчиков, такой подход делает проверку изображений более понятной и позволяет пользователям видеть, на чем основан вывод алгоритма. Технология создается при поддержке Федерального ведомства по информационной безопасности Германии и в будущем может использоваться для борьбы с распространением дипфейков.
