Пользователь
57,4
рейтинг
21 февраля 2014 в 01:06

Дизайн → Project Tango от Google: смартфон c 3D-сканером пространства



Небольшая группа инженеров ATAP (Advanced Technology and Projects) в компании Google занимается разработкой перспективных технологий. Сегодня она представила свой новый проект Tango. Это очень красивая технология построения 3D-модели окружающего пространства с помощью смартфона.

Группа ATAP сконструировала 5-дюймовый смартфон, оснащённый стереокамерой, сенсорами и программным обеспечением, которые отслеживают положение смартфона в 3D-пространстве, а также сканируют окружающий мир в реальном времени со скоростью 250 тыс. измерений в секунду. Всё это объединяется в единую 3D-модель с помощью уникального процессора Myriad 1, разработанного стартапом Movidius.



Когда модель готова, телефон может постоянно определять своё местоположение внутри неё. На базе этой модели можно создавать интересные игры, когда виртуальные объекты в смартфоне совмещаются с реальными объектами окружающей действительности. Например, вы можете играть на смартфоне в футбол, отбивая мячик от стены собственной квартиры. Или управлять настоящим роботом в соседней комнате, двигая его по 3D-модели этой комнаты. Или играть в прятки с анимированным персонажем в своём собственном доме. В общем, возможности открываются невероятные.



Можно представить, что с помощью краудсорсинга пользователи составят всеобъемлющую 3D-модель всего мира — и каждый сможет легко ориентироваться в пространстве в любой точке мира, в любом здании.



В ближайшие месяцы ATAP намерены выпустить SDK для создания программ на новом оборудовании. Первые 200 устройств разошлют разработчикам после 14 марта. Чтобы принять участие в программе, нужно придумать интересное приложение в сфере навигации внутри помещений, игр для одного или нескольких игроков или алгоритмы обработки данных с сенсоров Tango.



Телефон работает под Android, так что API для доступа к информации об ориентации, позиционировании и расстоянии до объектов можно использовать со стандартными Android-приложениями, написанными на Java, C/C++, а также на игровом движке Unity. Первые версии алгоритмов и API скоро закончат, но проект и после этого останется в статусе эксперимента.
Анатолий Ализар @alizar
карма
751,5
рейтинг 57,4
Пользователь
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Спецпроект

Самое читаемое Дизайн

Комментарии (47)

  • +5
    Так таки где можно подавать заявки со своими идеями?:)
  • +6
    Теперь осталось засунуть такой же сканер в Google Glass…
    • +2
      В Oculus Rift лучше.
  • +5
    Теперь осталось объединить с голосовым управлением телефона и сделать помощника для незрячих и будет польза от этой технологии!
  • +6
    Т.е. будет сканироваться модель дома, а потом, вероятно, куда то загружаться? :) Хитро…
    • –3
      Эта штука полностью перевернёт преступный мир. Жизнь профессиональных вломщиков резко упростится, жизнь профессиональных наводчиков неожиданно потеряет смысл и пользу и даже станет источником угрозы для остальных (так что эта технология может спровоцировать беспощадные зачистки), ну и так далее.
      • 0
        То есть, вы считаете, что у профессиональных взломщиков этого не было раньше?:)
      • 0
        Watch Dogs? )
      • 0
        По-моему, это полезный инструмент и для наводчика (сканирует), и для взломщика (ориентируется). Так что все при деле.

        Спецслужбы еще спасибо скажут (после создания 3D моделей городов пользователями).
      • 0
        Вопрос, конечно, касается не только взломщиков, для военных такая штука кажется полезной. Впрочем, каких-то сверхновых изобретений в этом девайсе нет, просто соединены уже давно известны способы изменения. Тем не менее в одном устройстве они дают мощный эффект.
  • –2
    Одна из самых интересных ожидаемых фич. Надеюсь что Samsung Galaxy S6 (или 7) получит эту технологию.
  • +18
    image
  • +3
    Это довольно сложные вычисления, так что телефон скорее всего будет хорошенько греться и идти в комплекте с очень длинным проводом питания
    • +1
      Согласен. Интереснее и практичнее это смотрелось бы на планшете.
    • 0
      Ничего греться не будет. Вычисления по стерео изображению не так сложны.
      • 0
        С каких это пор любая обработка полного потока видео при включённой камере перестала быть энергоёмкой задачей?
        • –1
          Что значит полного потока? Там фуллХД обрабатывать совсем не нужно. И там стоит спец. чип.
          • +1
            При низком разрешении и точность будет совсем никакая. И в любом случае, надо компенсировать искажения камер.
            • 0
              Искажение компенсируется калибровкой на шахматной доске. Нужно искать компромисс — можно при более-менее низком разрешении находить достаточно фичей.
              • +2
                Искажение компенсируется вычислениями. Которые применяются к каждому пикселю и требуют затрат энергии. Причем это не пересчёт цвета-яркости, а пересчёт индексов, что гораздо хуже. С субпиксельным разрешением.
                А если «находить достаточно фичей», то где вы возьмёте дальность для каждой точки между ними? Без полного поиска оптимального соответствия на вертикалях (полученных после компенсации искажений)?
                • 0
                  Искажения компенсируются при первичной калибровке камеры и всё, дальше они просто учитываются при вычислении.
                  Фичи определяются не в статике, вы двигаете камеру, а она совместно с инерциалкой определяет перемещение, а отсюда и расстояние до самих фичей
          • 0
            Спец чип выполняя большое количество операций будет есть мало? Работа двух видеокамер будет есть мало? Работа монитора будет есть мало?
            Сколько времени телефон с обычным зарядом может выводить на экран видеопоток с минимальной обработкой (например программное изменение яркости) прежде чем у него разрядится акк? А в этом устройстве аккумулятор будет кушать всё то же + спецвычислитель + вторая камера.
            Низкое разрешение будет только на камере, которая обработкой занимается. Камера с которой видеопоток для пользователя берётся будет работать в разрешении, которое бы покрыло экран устройства.
            • +1
              Тут долго можно об этом спорить) Я не говорю, что устройство будет мало потреблять, я говорю о том, что не будет так уж сильно греться.) Частично признаю свою неправоту =)
              • 0
                Ну, греться это да, не факт, что должно=)
                • 0
                  Ну так изначально и писалось про «сильно греться»))) Про «длинный провод питания» не обратил внимание.
      • 0
        Ого, вы можете аргументировать?
    • +1
      А если там отдельный сопроцессор который уже только отдает обработанные данные?
      То алгоритмы и железо можно разработать куда более щадящие к энергопортлеблению
    • +1
      Для того там и стоит специализированный процессор (даже два). Скорее всего, это ASIC, заточенные под выполнение каких-нибудь специфических для компьютерного зрения преобразований быстро и с минимальными затратами энергии. Ваш комментарий актуален для процессоров общего назначения.
  • +3
    Круто! Буду знать в каком кабинете искать президента
  • 0
    Я то думал, что разработали достаточно рабочий алгоритм по построению 3D карты по одной камере. А тут ничего нового.
    • +1
      Уже давно такой есть. Сейчас на его базе уже года 2 как американские спасатели тестируют систему, которая помогает навигации в горящих или разрушенных домах.
      Один из примеров вот был:
      www.youtube.com/watch?v=cQdP-mspcak&feature=related
      Раньше их сильно больше было, но что-то с ходу сайт их проекта не находится, а на ютубе только совсем старые проекты. То, что они сдалили в 2009-2010 хитом было.
      • 0
        Я знаю, что такие системы есть, я к тому, что думал что статья о подобной системе, но пойдёт уже в масс продакшн. Много кто тестирует такие системы, мы у себя на фирме тоже, в том числе, чтобы это работало в смартфоне, но впечатляющих результатов пока не добились)))
      • 0
        А какие подходы для одной камеры сейчас популярны? Я знаю только про дефокус, но это было давно.
        • 0
          Как я понимаю просто хорошо работающий алгоритм, выделяющий отметки. Может SURF или SIFT, а может какой-то другой. А дальше исходя из движения камеры (изменении точки взгляда) и знания геометрии камеры можно построить 3д.
          • 0
            Ну ещё туда инерциалку загоняют. SURF не используют обычно, потому что на более однообразных сценах он плохо справляется.
            • 0
              Инерциалка не обязательное условие. То на что я ссылку кидал — работало и без неё на ноутах. Мы как-то исходники даже выкачивали, тестировали.
              Любопытно, а какие алгоритмы тогда используются для выделения особых точек?
    • –1
      да, всё хочется дождаться какой-нибудь стерео-насадки (от китайцев, по 5$...) на обычную камеру, типа как iok.com.ua/sites/default/files/stok10/linzu-WoW-iPhone-5.jpg такой и софт под неё, чтобы такую 3Д карту для себя делать :)
      необходимость для одной такой фичи покупать себе отдельный смарт (сильно?) сужает порог вхождения ЦА.
    • 0
      ИМХО специализированное аппаратное решение все-же надежнее. Камера все-же не для этого предназначена.
      А если такие датчики станут мейнстримом, будет очень интересно. Это и легкое создание трехмерных моделей помещений (с выкладыванием в Сеть конечно же), и быстрое создание моделей для 3D-печати (кстати, возможно это подстегнет развитие 3D-печати), и дополненная реальность, и много чего еще…
  • +2
    Ну наконец-то теперь боевые микро-БПЛА Скайнета будут лучше ориентироваться и в жилищах ничтожных людишек (а сервера Гугла будут знать, что у вас где лежит в туалете)

    Ну ладно, ладно, не боты Скайнета в домах людишек, а БПЛА армии Эльфов и прочих Светлых Сил смогут ориентироваться в пещерах Мордора. Тоже хороший ведь вариант. Блин.
  • +1
    Подал заявку.
    Join us.
    Thank you for applying for a Project Tango Dev Kit! Over the next few weeks, we’ll review all submissions. If your application is accepted, you’ll receive an email inviting you to our developer program. We only have a very limited number of units to distribute, so unfortunately not every application will receive one. Thanks!

    Надеюсь, их заинтересуют исследования по применению их проекта для археологов.
  • +3
    Приделать на квадракоптеры надо
  • –1
    А где на фото те два чемодана с батарейками, которые понадобятся этому девайсу?
    • +1
      Разработчики процессора особо подчёркивают энергоэффективность: примерно в 100 раз меньше, чем у процессора Kinect.
  • +2
    А ведь по сути это будущее.
  • 0
    На kickstarter'е такой проект уже 3 месяца как получил все нужные деньги, вот и google проснулся.
    www.kickstarter.com/projects/occipital/structure-sensor-capture-the-world-in-3d
  • 0
    Получить модель помещения, надеть Oculus Rift, летаааать!

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.