«Захват движения» от iPi Soft

   Motion capture (MoCap; Захват движения) — технология для записи движений актеров, которые затем используются в компьютерной графике. Поскольку тело человека (и животных) устроено достаточно сложно, то гораздо проще, убедительней, а зачастую и дешевле записывать движения актеров и перекладывать их на трехмерные модели, чем анимировать трехмерные модели вручную.

   Большинство систем захвата движения работают с маркерами или датчиками, которые крепятся на тело актера, как правило — при помощи костюма. Но есть и способ захват движения при помощи хромакея — мы поговорили с Михаилом Никоновым, одним из участников команды iPi Soft (выигравшей дубнинскую инновационную школу) и обсудили подробности проекта и его перспективы.

Расскажите о проекте?

Наша компания делает технологию для создания трехмерной анимации людей. Мы считаем, что сейчас это одна из ключевых проблем трехмерной графики.


Михаил Никонов

Почему?

   Потому что рендеринг и другие аспекты трехмерной анимации — даже физическое моделирование — уже развиты, и зритель уже не замечает дальнейшего прогресса, дальнейших усилий в рендеринге. В то же время я могу, как человек, занимающийся анимацией, сказать, что во многих фильмах и в особенности во многих компьютерных играх качество анимации пока еще нуждается в улучшении.

Анимация движений или лицевая анимация?

И лицевая, и анимация всего тела.

А какие проблемы вы решаете лучше, чем традиционный захват изображения, который производится при помощи специальных видеокамер, хромакея, освещения и костюмов с датчиками или маркерами?

   Мы спроектировали свою систему по принципу максимального удобства использования для аниматоров. Все пользователи, с которыми мы общаемся, отмечают, что им важна мобильность, важен гибкий график съемок, чтобы не надо было заранее заказывать студию и, если что-то хочется переделать, чтобы не нужно было месяц ждать эту студию. Мы в первую очередь решаем именно эту проблему — обеспечиваем аниматоров и студии 3D-графики переносной системой motion capture, которой можно при желании оснастить каждого аниматора.

Как это выглядит?

   Система состоит из видеокамеры и программного обеспечения, которое, используя алгоритмы обработки изображения и компьютерного зрения считывает скелетную анимацию с записанного видео. Система выглядит как ПО, которое вы ставите на свой компьютер, а камеру пользователь должен купить в магазине. Мы рекомендуем камеру Sony PlayStation Eye, которая стоит $30 и которая продается в любом магазине электроники.

А маркеры?

   В том-то и дело, что мы не используем маркеры — это основа нашего решения. Именно для этого мы и затевали разработку нашей системы. Мы хотим отправить на склад костюмы с маркерами, костюмы с датчиками, потому что они стесняют творческую свободу.

А как насчет сложных условий съемки?

   Нашу систему тестировала одна известная московская студия, они пришли с ноутбуком и с камерами, и мы сделали захват в первом попавшемся помещении. Никаких маркеров, сложный фон, тем не менее, наша технология справляется.

Движущаяся камера?

   Мы пока не можем работать с движущейся камерой, у нас не настолько обкатана технология. Пока у нас есть ряд преимуществ — даже при низком разрешении камер, при 320x240, получается достаточно качественная анимация. А так мы рекомендуем 640x480.



Наверное, частота кадров имеет большое значение?

   Да. Мы рекомендуем камеру Sony именно потому, что она поддерживает до 60 кадров в секунду. Кроме того, мы рекомендуем использовать несколько камер. Сейчас у нас рекомендуется три или четыре камеры, а поддерживается до четырех. На современных компьютерах можно снимать шестью камерами одновременно, так что мы сейчас работаем над шестикамерным захватом.

   Еще мы будем работать над однокамерным вариантом — фирма Microsoft собирается выпустить трехмерную камеру, и тогда захват изображения еще больше упростится.

А захват происходит в реальном времени?

   Пока нет. Дело в том, что наш алгоритм требует большой вычислительной мощности компьютера — мы задействуем все ядра процессора в системе, и мы используем видеокарту для вычислений, то, что называется GPGPU. Так что даже на самых мощных современных компьютерах мы пока что достигли скорости 2 кадра в секунду. Но, конечно, это всего лишь вопрос времени — мы за прошлый год ускорили наш алгоритм в четыре раза, да и скорость компьютеров возросла примерно в два раза, так что за следующий год мы еще ускорим обработку видео, а там и обработка в реальном времени будет не за горами.

Ваши дальнейшие планы?

   Сейчас мы находимся в начале пути. Конечно же, мы будем совершенствовать эту технологию, нам нужно несколько лет на ее развитие, чтобы она достигла зрелости. Еще не секрет, что мы работаем над смежными технологиями. То, что вы сейчас видите — захват движения для актеров-людей. Человек — существо сложное, важна актерская игра, а смоделировать актерскую игру на компьютере практически невозможно. С животными все наоборот — мы считаем, что их нужно моделировать на компьютере. Это так называемый синтез движений. Мы сейчас заняты созданием прототипов технологий, которые бы позволили реалистично моделировать анимацию животных и монстров с использованием генетических алгоритмов, где у вас будет виртуальная лаборатория, в которой можно будет разводить каких-то существ и заодно записывать анимацию получившихся существ в разных ситуациях — допустим, анимацию стада, перемещающегося за кормом, или нападение хищника.

Не без оглядки на Spore?

   Может быть, хотя надо сказать, что Spore многих разочаровала тем, что авторы очень упростили игру, отказавшись от первоначального подхода, где они хотели более честно моделировать существ и сделали их более кавайными, но без учета факторов биологии и даже физических законов. Там одновременно может быть существо с большой массой и при этом быстрое — в жизни так не бывает. Если у вас большая масса — вы размашистый слон, а для скорости нужно быть компактным и худым, как гепард.



   Кстати, нашу технологию захвата изображения вы уже можете попробовать самостоятельно. Для записи видео подойдет любой современный ноутбук, а для обработки мы, конечно, рекомендуем мощный настольный компьютер с ОС Windows — скорее всего, это геймерский компьютер, с помощью которого вы сможете быстро обработать анимацию.

* * *

   Мы попросили прокомментировать разработку iPi Soft Анатолия Беликова, уже знакомого вам по нашему сюжету с панорамными видами Парижа. Вот как комментирует систему захвата iPi Soft специалист: «есть одно «но». Главное преимущество этой программы — работа без маркеров — ее же главный недостаток. Дело в том, что обычные устройства для захвата движения просто отслеживают перемещение маркеров в пространстве. Программа не знает, что именно она отслеживает, и дальнейшее использование таких данных никак не автоматизировано. Полученную анимацию приходится вручную «прикручивать» к виртуальному объекту. Это, несмотря на все трудности, позволяет отслеживать движение чего угодно. Можно налепить маркеры на лицо, на предметы в руках актеров, на кошку, собаку и так далее, причем программы для оптического отслеживания маркеров при помощи бытовых камер существуют уже много лет. Так что необходимо понимать, что технология iPi Soft пока что ограничена захватом движения актеров-людей. Но, конечно, пользоваться подобной технологией буду безусловно, это прорыв».

* * *

p.s.: новый ролик:



Не стесняйтесь вступать в ряды читателей компании Intel на Хабре.
Статья частично взята из Intel Galaxy

Успехов!