В принципе, даже для опытного графического дизайнера встраивание какого-либо нового объекта в существующее изображение (фотографию) — довольно сложная задача. Конечно, уровень сложности подобной проблемы варьируется, но все же это не дело пары минут. А вот разработчик Кевин Карч, PhD университета Иллинойса, создал собственный «Photoshop» с тем-то и теми-то. Технология, созданная Кевином, позволяет встраивать практически любые объекты на любые изображения с высокой степенью точности.

Свои наработки Кевин Карч продемонстрировал на конференции Siggraph, которая проводилась в Гонконге в этом месяце. По его словам, технологией может воспользоваться даже новичок, без специального оборудования, тренингов и самого Adobe Photoshop. Все можно сделать без опыта, буквально за несколько минут. Причем результаты, получаемые после обработки изображений с помощью технологии Карча, впечатляют.





Разработчик описывает свою технологию, как «метод реалистичного встраивания новых объектов в существующие фотографии без использования специального оборудования, многокадровой съемки или прочих инструментов». Метод, используемый Карчем, действительно уникален. Его ПО автоматически создает трехмерную модель того, что изображено на фотографии. После этого пользователь может добавить любой объект.



Например, на следующем примере показаны оригинальная и смоделированная фотография, а также указаны те участки, которые пометил пользователь, изначально не знакомый с интерфейсом программы (он только просмотрел короткое демонстрационное видео).





Вся работа в вышеуказанном примере заняла десять минут без учёта рендеринга.

Разработчики провели некоторые исследования, чтобы выяснить, могут ли пользователи распознать искусственные предметы на фотографиях. Оказалось, что это затруднительно даже для специалистов, которые считают себя экспертами в данной области. В то же время алгоритм Карсча обеспечивает примерно такую же реалистичность, как и более сложные и ресурсоёмкие методы.

Подобная система может найти применение в кинематографической и игровой индустриях, а также для оформления интерьеров. Например, пользователь может сделать фотографию своей комнаты и посмотреть, как будут выглядеть в ней различные элементы интерьера.

Другие примеры

Алгоритм работает следующим образом.



1) по разнице в цвете пикселов вычисляется геометрия сцены (пол, потолок, стены, углы) и составляется 3D-модель.



2) С учётом этой модели во всех пикселах вычисляется чистое значение отражённого света.



3) Источники прямого света вычисляются путём быстрого анализа светлых и тёмных пикселов на фотографии (распознавание теней).



4) Затем эти данные уточняются пользователем, одновременно пользователь корректирует параметры геометрии и контуры ключевых объектов.



5) Система перерасчитывает форму источников света на основе фидбека пользователя.



5) Рендеринг на основе исходных данных.



6) Рендеринг с учётом информации, уточнённой пользователем.


Via kevinkarsch + Dailymail