Создание визуального контента, удовлетворяющего требованиям пользователя, требует способности точно и гибко управлять позой, формой, выражением и расположением создаваемых объектов.

Существующие подходы обеспечивают управляемость генеративных адверсарных сетей (GAN) с помощью аннотированных вручную обучающих данных или предварительной 3D-модели, которым часто не хватает гибкости, точности и универсальности.

В данной работе мы исследуем мощный, но гораздо менее изученный способ управления GANs, а именно “перетаскивание” любых точек изображения для точного достижения целевых точек в интерактивной манере, как показано на рис. ниже.

Для достижения этой цели мы предлагаем DragGAN, который состоит из двух основных компонентов, включая:

контроль движения на основе характеристик, который заставляет точку рукоятки двигаться к целевой позиции;
новый подход к отслеживанию точек, который использует дискриминационные характеристики GAN для локализации положения точек рукоятки.
С помощью DragGAN любой может деформировать изображение, точно контролируя положение пикселей, таким образом манипулируя позой, формой, выражением и расположением различных категорий, таких как животные, автомобили, люди, пейзажи и т.д.

Поскольку эти манипуляции выполняются на обученной генеративной матрице изображений GAN, они, как правило, дают реалистичные результаты даже в таких сложных сценариях, как галлюцинация окклюдированного содержимого и деформация форм, которые последовательно следуют за жесткостью объекта.

DragGAN демонстрирует свое превосходство над существующими методами в задачах манипулирования изображениями и отслеживания точек, что подтверждается как качественными, так и количественными сравнениями. Кроме того, мы приводим доказательства его способности манипулировать реальными изображениями с помощью методов инверсии GAN.