Использование ИИ для защиты от манипуляций с изображениями ИИ

Jan 14, 2024

Предыдущее изображение Следующее изображение

По мере того, как мы вступаем в новую эпоху, когда технологии, основанные на искусственном интеллекте, могут создавать изображения и манипулировать ими с точностью, которая стирает грань между реальностью и выдумкой, призрак злоупотреблений становится все более значительным. Недавно передовые генеративные модели, такие как DALL-E и Midjourney, известные своей впечатляющей точностью и удобным интерфейсом, сделали создание гиперреалистичных изображений относительно простым. Поскольку входные барьеры снижены, даже неопытные пользователи могут создавать и манипулировать высококачественными изображениями из простых текстовых описаний — от невинных изменений изображений до вредоносных изменений. Такие методы, как нанесение водяных знаков, представляют собой многообещающее решение, но неправильное использование требует превентивных (а не только постфактум) мер.

Стремясь создать такую ​​новую меру, исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали «PhotoGuard», метод, который использует возмущения — мельчайшие изменения значений пикселей, невидимые человеческому глазу, но обнаруживаемые компьютерными моделями — которые эффективно лишить модель возможности манипулировать изображением.

PhotoGuard использует два разных метода «атаки» для создания этих возмущений. Более простая атака «кодировщика» нацелена на скрытое представление изображения в модели ИИ, заставляя модель воспринимать изображение как случайный объект. Более сложный метод «диффузии» определяет целевое изображение и оптимизирует возмущения, чтобы окончательное изображение было максимально похоже на целевое.

«Учитывайте возможность мошеннического распространения ложных катастрофических событий, таких как взрыв на значимом ориентире. Этот обман может манипулировать рыночными тенденциями и общественными настроениями, но риски не ограничиваются общественной сферой. Личные изображения могут быть ненадлежащим образом изменены и использованы для шантажа, что приводит к значительным финансовым последствиям при их крупномасштабном использовании», — говорит Хади Салман, аспирант Массачусетского технологического института в области электротехники и информатики (EECS), филиал MIT CSAIL и ведущий автор. новой статьи о PhotoGuard.

«В более экстремальных сценариях эти модели могут имитировать голоса и изображения для инсценировки ложных преступлений, причинения психологического стресса и финансовых потерь. Быстрота этих действий усугубляет проблему. Даже когда обман в конечном итоге раскрывается, ущерб — репутационный, эмоциональный или финансовый — зачастую уже нанесен. Это реальность для жертв на всех уровнях: от людей, над которыми издеваются в школе, до манипуляций в масштабах всего общества».

ФотоГард на практике

Модели искусственного интеллекта рассматривают изображение иначе, чем люди. Он рассматривает изображение как сложный набор математических данных, которые описывают цвет и положение каждого пикселя — это скрытое представление изображения. Атака кодировщика вносит незначительные изменения в это математическое представление, в результате чего модель ИИ воспринимает изображение как случайный объект. В результате любая попытка манипулировать изображением с помощью модели становится практически невозможной. Внесенные изменения настолько малы, что невидимы для человеческого глаза, что позволяет сохранить визуальную целостность изображения и одновременно обеспечить его защиту.

Вторая и явно более сложная «диффузионная» атака стратегически нацелена на всю модель диффузии от начала до конца. Это включает в себя определение желаемого целевого изображения, а затем инициирование процесса оптимизации с целью точного согласования сгенерированного изображения с этой заранее выбранной целью.

При реализации команда создала возмущения во входном пространстве исходного изображения. Эти возмущения затем используются на этапе вывода и применяются к изображениям, обеспечивая надежную защиту от несанкционированных манипуляций.

«Прогресс в области ИИ, свидетелями которого мы являемся, действительно захватывает дух, но он позволяет использовать ИИ как во благо, так и во зло», — говорит профессор EECS Массачусетского технологического института и главный исследователь CSAIL Александр Мадри, который также является автором статьи. «Поэтому нам крайне важно работать над выявлением и смягчением последствий последнего. Я рассматриваю PhotoGuard как наш небольшой вклад в это важное усилие».