Пользователь
30,2
рейтинг
23 сентября 2014 в 13:12

Дизайн → Реконструкция 3D-модели движущегося лица

Интересную презентацию подготовили для Европейской конференции по компьютерному зрению (ECCV-2014) исследователи из Вашингтонского университета. Это технология покадровой реконструкции 3D-модели на видео.



Используя видеоролик с YouTube, программа автоматически строит 3D-модели высокой степени детализации для каждого кадра.

Это очень впечатляющий результат, учитывая сложность задачи, ведь мимика человеческого лица очень сложна. Для распознавания эмоций важно видеть точное положение глаз, изгиб бровей, морщинки. Малейшая погрешность в такой 3D-модели сильно бросается в глаза.



Подавляющее большинство других программ для 3D-трекинга и оцифровки лица используют метод плавных модификаций (blend shapes), когда форма объекта изменяется, «перетекая» из одного состояния в другое. У метода плавных деформаций недостаток как раз в потере мелких деталей, которые так важны для восприятия лица. Авторы нового алгоритма отказались от такого подхода.



С другой стороны, хотя в покадровой реконструкции каждая модель существует «отдельно» друг от друга, но при воспроизведении на 30/60 кадрах в секунду результат должен быть более реалистичный, чем в случае с плавной модификацией.

И ещё. В отличие от других подобных технологий, здесь не требуется участие человека в тестовой видеосъёмке. Вместо этого используется большой архив его фотографий в разных условиях освещения и позах, с применением метода оптического потока (3D optical flow). Автор научной работы говорят, что в наше время на каждого человека собран большой архив фотографий.



Программа успешно проявила себя в условиях разной освещённости и на разных выражениях лица.

Работа представлена на Европейской конференции по компьютерному зрению, которая прошла 6-12 сентября в Цюрихе.

Научная статья
Сопровождающий материал

Технологию можно использовать в кинематографе, 3D-печати, компьютерных играх и виртуальной реальности, может быть, для восстановления точного внешнего вида и мимики умершего человека по его фотографиям и видеозаписям.

Ну, а самым непосредственным приложением технологии кажется создание более реалистичных 3D-кинофильмов и анимация мимики персонажей в компьютерных играх.
Анатолий Ализар @alizar
карма
749,5
рейтинг 30,2
Пользователь
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Дизайн

Комментарии (23)

  • +11
    Вот так пройдёшься в будущем по торговому центру (камер-наблюдений полно), а впереди твоя голограмма пытается тебе впарить какой-нибудь очень нужный товар.
    • +6
      А если этот товар уже надет на твоей голограмме — то в принципе удобно. Сократит время примерок :)
    • +14
      Скорее они отследят твоих друзей, и образ твоего друга будет впаривать тебе соковыжималку для картофеля.
      • +1
        Или, голографическая жена ненавязчиво напомнит купить шубу.
        • 0
          Или дочка с мокрыми глазами и дрожащей губой с каким-нибудь тамагочи в руках.
    • –2
      Фи, какие пошлые примеры применения!
    • +1
      … а голограмма продавца пытается впарить твоей голограмме голограмму товара. Главное, самому тихо слинять.
  • +4
    У Тома Хэнкса такая мимика, что невольно улыбаться начинаешь, даже не смотря на отсутсвие звука.) Отличный актёр.
  • +3
    Кинематографисты оценят и мы увидим в новых ролях давно умерших актёров.
    • 0
      Уже! Вспомнить хотя бы рекламу, в которой «снялась» Одри Хепберн.
  • +1
    Я бы не хотел встретить умершего родственника в какой бы то ни было форме.
  • +2
    Ну, а самым непосредственным приложением технологии кажется создание более реалистичных 3D-кинофильмов и анимация мимики персонажей в компьютерных играх.

    Я бы сказал, создание новых фильмов с участием Брюса Ли, Хита Леджера и over 9000 мёртвых киногероев :)
    • 0
      Увы, мастерство самого актера таким образом не оживить.
    • 0
      • 0
        Во, классный ролик! Спасибо за ссылку :)
  • 0
    Почему-то вспомнил про посмертные маски, когда смотрел видео.
    • 0
      Надо умереть так, чтобы с тебя слепили маску Гая Фокса :)
  • +1
    Сорцы бы потрогать. Эти реконструкции — прекрасный материал для распознавания лиц.
  • +1
    Вообще крутая вещь.

    А там и 3D принтеры смогут напечатать точную маску любого человека и все это мне напомнило (кстати, наверное, его бы вообще идеально смоделировало)

    image
    • 0
      Кстати уже есть нашел
      Разработка Disney Research «Face Cloning»
      • 0
        Не только Disney отличился, у Dreamworks Pictures еще в 2011 была похожая разработка.
  • +1
    Выяснилось, что политиков, которых показывают по телевизору, на самом деле не существует. Их создают с помощью сверхмощного американского компьютера. Чем выше пост виртуального политика, тем лучше 3D графика.

    «Generation P»
    • 0
      Гениальная книга. Читал уже раз 10 и все равно интересно.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.