«Захват движения» от iPi Soft
Motion capture (MoCap; Захват движения) — технология для записи движений актеров, которые затем используются в компьютерной графике. Поскольку тело человека (и животных) устроено достаточно сложно, то гораздо проще, убедительней, а зачастую и дешевле записывать движения актеров и перекладывать их на трехмерные модели, чем анимировать трехмерные модели вручную. Большинство систем захвата движения работают с маркерами или датчиками, которые крепятся на тело актера, как правило — при помощи костюма. Но есть и способ захват движения при помощи хромакея — мы поговорили с Михаилом Никоновым, одним из участников команды iPi Soft (выигравшей дубнинскую инновационную школу) и обсудили подробности проекта и его перспективы.
Расскажите о проекте?
Наша компания делает технологию для создания трехмерной анимации людей. Мы считаем, что сейчас это одна из ключевых проблем трехмерной графики.
Михаил Никонов
Почему?
Потому что рендеринг и другие аспекты трехмерной анимации — даже физическое моделирование — уже развиты, и зритель уже не замечает дальнейшего прогресса, дальнейших усилий в рендеринге. В то же время я могу, как человек, занимающийся анимацией, сказать, что во многих фильмах и в особенности во многих компьютерных играх качество анимации пока еще нуждается в улучшении.
Анимация движений или лицевая анимация?
И лицевая, и анимация всего тела.
А какие проблемы вы решаете лучше, чем традиционный захват изображения, который производится при помощи специальных видеокамер, хромакея, освещения и костюмов с датчиками или маркерами?
Мы спроектировали свою систему по принципу максимального удобства использования для аниматоров. Все пользователи, с которыми мы общаемся, отмечают, что им важна мобильность, важен гибкий график съемок, чтобы не надо было заранее заказывать студию и, если что-то хочется переделать, чтобы не нужно было месяц ждать эту студию. Мы в первую очередь решаем именно эту проблему — обеспечиваем аниматоров и студии 3D-графики переносной системой motion capture, которой можно при желании оснастить каждого аниматора.
Как это выглядит?
Система состоит из видеокамеры и программного обеспечения, которое, используя алгоритмы обработки изображения и компьютерного зрения считывает скелетную анимацию с записанного видео. Система выглядит как ПО, которое вы ставите на свой компьютер, а камеру пользователь должен купить в магазине. Мы рекомендуем камеру Sony PlayStation Eye, которая стоит $30 и которая продается в любом магазине электроники.
А маркеры?
В том-то и дело, что мы не используем маркеры — это основа нашего решения. Именно для этого мы и затевали разработку нашей системы. Мы хотим отправить на склад костюмы с маркерами, костюмы с датчиками, потому что они стесняют творческую свободу.
А как насчет сложных условий съемки?
Нашу систему тестировала одна известная московская студия, они пришли с ноутбуком и с камерами, и мы сделали захват в первом попавшемся помещении. Никаких маркеров, сложный фон, тем не менее, наша технология справляется.
Движущаяся камера?
Мы пока не можем работать с движущейся камерой, у нас не настолько обкатана технология. Пока у нас есть ряд преимуществ — даже при низком разрешении камер, при 320x240, получается достаточно качественная анимация. А так мы рекомендуем 640x480.
Наверное, частота кадров имеет большое значение?
Да. Мы рекомендуем камеру Sony именно потому, что она поддерживает до 60 кадров в секунду. Кроме того, мы рекомендуем использовать несколько камер. Сейчас у нас рекомендуется три или четыре камеры, а поддерживается до четырех. На современных компьютерах можно снимать шестью камерами одновременно, так что мы сейчас работаем над шестикамерным захватом.
Еще мы будем работать над однокамерным вариантом — фирма Microsoft собирается выпустить трехмерную камеру, и тогда захват изображения еще больше упростится.
А захват происходит в реальном времени?
Пока нет. Дело в том, что наш алгоритм требует большой вычислительной мощности компьютера — мы задействуем все ядра процессора в системе, и мы используем видеокарту для вычислений, то, что называется GPGPU. Так что даже на самых мощных современных компьютерах мы пока что достигли скорости 2 кадра в секунду. Но, конечно, это всего лишь вопрос времени — мы за прошлый год ускорили наш алгоритм в четыре раза, да и скорость компьютеров возросла примерно в два раза, так что за следующий год мы еще ускорим обработку видео, а там и обработка в реальном времени будет не за горами.
Ваши дальнейшие планы?
Сейчас мы находимся в начале пути. Конечно же, мы будем совершенствовать эту технологию, нам нужно несколько лет на ее развитие, чтобы она достигла зрелости. Еще не секрет, что мы работаем над смежными технологиями. То, что вы сейчас видите — захват движения для актеров-людей. Человек — существо сложное, важна актерская игра, а смоделировать актерскую игру на компьютере практически невозможно. С животными все наоборот — мы считаем, что их нужно моделировать на компьютере. Это так называемый синтез движений. Мы сейчас заняты созданием прототипов технологий, которые бы позволили реалистично моделировать анимацию животных и монстров с использованием генетических алгоритмов, где у вас будет виртуальная лаборатория, в которой можно будет разводить каких-то существ и заодно записывать анимацию получившихся существ в разных ситуациях — допустим, анимацию стада, перемещающегося за кормом, или нападение хищника.
Не без оглядки на Spore?
Может быть, хотя надо сказать, что Spore многих разочаровала тем, что авторы очень упростили игру, отказавшись от первоначального подхода, где они хотели более честно моделировать существ и сделали их более кавайными, но без учета факторов биологии и даже физических законов. Там одновременно может быть существо с большой массой и при этом быстрое — в жизни так не бывает. Если у вас большая масса — вы размашистый слон, а для скорости нужно быть компактным и худым, как гепард.
Кстати, нашу технологию захвата изображения вы уже можете попробовать самостоятельно. Для записи видео подойдет любой современный ноутбук, а для обработки мы, конечно, рекомендуем мощный настольный компьютер с ОС Windows — скорее всего, это геймерский компьютер, с помощью которого вы сможете быстро обработать анимацию.
* * *
Мы попросили прокомментировать разработку iPi Soft Анатолия Беликова, уже знакомого вам по нашему сюжету с панорамными видами Парижа. Вот как комментирует систему захвата iPi Soft специалист: «есть одно «но». Главное преимущество этой программы — работа без маркеров — ее же главный недостаток. Дело в том, что обычные устройства для захвата движения просто отслеживают перемещение маркеров в пространстве. Программа не знает, что именно она отслеживает, и дальнейшее использование таких данных никак не автоматизировано. Полученную анимацию приходится вручную «прикручивать» к виртуальному объекту. Это, несмотря на все трудности, позволяет отслеживать движение чего угодно. Можно налепить маркеры на лицо, на предметы в руках актеров, на кошку, собаку и так далее, причем программы для оптического отслеживания маркеров при помощи бытовых камер существуют уже много лет. Так что необходимо понимать, что технология iPi Soft пока что ограничена захватом движения актеров-людей. Но, конечно, пользоваться подобной технологией буду безусловно, это прорыв».
* * *
p.s.: новый ролик:
Не стесняйтесь вступать в ряды читателей компании Intel на Хабре. 
Статья частично взята из Intel GalaxyУспехов!
комментарии (40)
Жду недождусь виртуальной реальности :)
И если можно получить сравнимое качество игры, выполнение всех хотелок режиссера, да и к тому же это будет дешевле для индустрии — то почему нет?
Пусть они сделают виртуального клинта иствуда или николсона.
Актерам платят эти огромные бабки за их индивидуальность, а далеко не за процессор интел или видеокарту последней версии
Конечно фильм «Последняя фантазия» совершил революцию, став первый фильмов с компьютерными актерами, но не для всех фильмов подходит такой формат.
А вот для мультфильмов и роликов для игр такая технология будет весьма кстати.
Человек — это животное. Ни больше, ни меньше.
На данный момент мы наверника способны имитировать реального таракана… значит с той-же легкостью можем имитировать и человека в будущем.
2) По поводу Джима Керри и Леонардо Ди Каприо…
«Незаменимых людей нет… » (с) непомню
3) Я уже сейчас считаю концерт Hatsune Miku (初音ﾐｸ) в 1000 раз круче ЛЮБОГО концерта нашей поп\рок звезды.
PS: А заявления по поводу уникальности и неповторимости людей — вообще религиозная ересь…
Не помню, чтобы где-то в религии о таком говорилось. Пруф, пожалуйста.
Как впрочем никто и в топике такого не утверждал. Во всяком случае я. Как-то вы слишком бурно реагируете. Вы часом не религиозный фанатик? ;)
Жду недождусь виртуальной реальности :)
Если кому прямо сейчас нужен безмаркерный захват лицевой анимации, то советуем посмотреть в сторону Di-O-Matic Maskarad и Image Metrics Faceware.
Действительно в движениях рисованных персонажей во многих компьютерных играх до сих пор видна некая угловатость или ватность. А тут всё очень чётко и реалистично.
Но как дела у этой технологии с мимикой, пока непонятно.
на тот момент, мимики небыло вообще.
Технология действительно революционная.
Когда для нашего небольшого проекта потребовалось создать реалистичную анимацию, мы зашли в тупик и именно эта технология как волшебная палочка помогла реализовать часть задуманного.
Очень интересно было попробовать.
Пользуясь случаем выражаю огромную благодарность Михаилу за помощь в освоении технологии и уделенному времени.
Всё же это вспомогательная технология, которая не призвана заменить актеров, а призвана облегчить труд 3d-аниматоров. Это как результат цифровой фотографии да еще обработанной в PhotoShop-е сравнивать с картиной художника…
Когда актер размещает на себе маркеры, это сходно с гримированием и костюмом. Это часть образа. Данный ваш алгоритм больше напоминает собой соковыжималку, и я не думаю что актеру может понравиться быть так выжатым до скелета. Боюсь что любая игра будет оборачиваться очередным водолазом — ассенизатором. Если вы бродили по местам культурного отдыха Советских Трудящихся, то наверно могли обратить внимание на большое количество статУй — девушек с веслом, салютующих пионеров и прочих шедевров выполненных в этой самой скелетной манере. Лучшего эта техника дать не может. Алгоритм туп.
Что же касается скульптур, то это вопрос модели персонажа, к которой будет применена анимация. Модели делают совсем в других программных продуктах. Так что аналогия со скульптурами не совсем корректна — скульптуры статичны, а в MoCap-е вся соль в передаче реалистичности движения, т.е. динамики.
Я под распознанием имею в виду сравнение с определенной базой данных. Те области которые распознаются лучше всего, то есть имеют наиболее широкую базу, должны каким-то образом и выделяться (размером?) Это такая альтернатива скелетному алгоритму, если у вам совсем не по душе маркеры.
А то у меня в первой фразе какая-то корявость.
А так Кинект подобное делает в реалтайме с крошечными затратами процессорного времени.
Как описываемая система отреагирует на случай если > 1 человека в 1 месте?
www.youtube.com/watch?v=FQ_fNJWtMAE
У Kinekt-а есть свои ограничения: во-первых, он ориентирован на распознавание, так сказать, трехмерных жестов для игр, а не на точный захват движений во всех подробностях и тонкостях; во-вторых, у него очень маленький Capture Volume (объем, в котором актер может двигаться), так что, чтобы снять ходьбу или бег, придется использовать соответствующий тренажер; в-третьих, пока это всё исключительно для игр и до конца не понятно, можно ли это будет приспособить для задач более широкого круга. При этом всем у него масса достоинств, включая невысокую цену и исключительную простоту использования.
В любом случае, эта Kinekt только в плюс индустрии Motion Capture, так как и популяризирует её, и наглядно показывает, что это может быть доступно почти всем. А то сейчас очень тяжело пробить стереотип, что MoCap — это очень дорого и геморройно, так как до этого были только дорогие решения типа Vicon, где цена стартует с 60 тыс. долларов.
Возвращаясь к вопросу :) В iPi DMC тоже можно отслеживать нескольких актеров, если они не в тесном контакте друг с другом. Т.е. бальные танцы — нет, а бесконтактный спаринг — да.