Pull to refresh
Veeam Software
Продукты для резервного копирования информации

Что нас ждет в Microsoft Kinect 2.0?

Reading time 4 min
Views 39K
Первая версия Kinect, сенсорного игрового контроллера от Microsoft, заняла второе место в рейтинге «10 самых инновационных технических продуктов 2011 года» по версии журнала Популярная Механика. К февралю 2013 года количество проданных устройств достигло 24 миллионов. При этом первые 8 миллионов были проданы в течение 60 дней с момента поступления устройства в продажу, что сделало Kinect «самым быстро продаваемым пользовательским устройством» в Книге Рекордов Гиннесса.

Но время проходит, и не за горами выход новой версии Kinect. Мне понравилась свежая статья на TechCrunch (в оригинале «How Microsoft built the cameras in the upcoming Kinect») об улучшениях нового Kinect. Текст написан человеком, который специально посетил кампус Microsoft в Mountain View для ознакомления с новым контроллером, а также поговорил с инженерами, которые его разработали.

Под катом 5 аргументов, почему новый Kinect имеет все шансы повторить успех первой версии.

Рисунок 1. Режимы просмотра нового Kinect.
Рисунок 1. Режимы просмотра нового Kinect.

Мысль 1: Новый Kinect оказался круче, чем ожидалось, сильно опередив предшественника в техническом плане. Увеличенный угол обзора, большее число пикселей в сенсоре и улучшенное разрешение позволяют распознать движение запястья ребенка на расстоянии 3.5 метра.

Мысль 2: Во вторую версию добавлено несколько новых режимов просмотра. Несмотря на то, что эти режимы недоступны обычным пользователям, они могут оказаться чрезвычайно полезными для разработчиков приложений для улучшения точности отслеживания движений и уменьшения погрешностей.

Например, Режим Инфракрасного Зрения и новые инструменты моделирования человеческого тела можно использовать для отслеживания движений мышц и взаимной ориентации частей тела.

А Режим Глубокого изображения, действующий как радар, где каждый из 220 тысяч пикселей сенсора записывает данные независимо, позволяет создать, например, удивительно точное и детализированное отображение комнаты.

Мысль 3: В новый Kinect также добавлены настройки камеры, инвариантные свету (остающиеся неизменными при изменениях света). При таких настройках Kinect дает одинаковый результат вне зависимости от особенностей освещения комнаты. На практике это означает, что вы можете использовать Kinect в темноте или помещении со световыми шумами. Например, два прожектора, направленных прямо на датчик, не повлияют на производительность устройства. Автор статьи тут же решил это протестировать, и согласно его заключению, этот механизм действительно работает, как и обещает производитель.

Рисунок 2. Настройки нового Kinect, инвариантные свету, позволяют использовать его в темноте.
Рисунок 2. Настройки нового Kinect, инвариантные свету, позволяют использовать его в темноте.

Таким образом, при обработке данных от Kinect, разработчикам не надо беспокоиться как освещен пользователь, и данные не будут искажены из-за неожиданного изменения освещения в комнате, например, включения верхнего света.

Количество распознаваемых суставов человеческого тела также значительно увеличено, что может использоваться для более точного отслеживания движений рук пользователей.

Мысль 4: Минимальный размер объекта, который мог распознать Kinect первого поколения, составлял 7.5 см. Новый же Kinect одновременно с увеличением угла обзора на 60% распознает предметы размером от 2.5 см. Число одновременно отслеживаемых человек в комнате также увеличено до 6 по сравнению с 2 в предыдущей версии.

Мысль 5: Первый Kinect стал самым быстро продаваемым пользовательским устройством в истории. Его существование помогло продлить интерес к Xbox 360, даже когда консоль морально устарела. Microsoft выпускает новый Kinect одновременно с новым Xbox One. Оба устройства будут доступны в США с середины ноября 2013 года и будут конкурировать за пользователей с готовящейся к выпуску консоли PlayStation 4 от Sony.

Возникшие проблемы


В Microsoft хотели создать камеру, работающую на основании «времени полета», то есть времени, необходимого для того, чтобы свет прошел путь от его источника до объекта и обратно. Учитывая, что это происходит довольно быстро, новому Kinect необходимо обрабатывать гигантские потоки данных в реальном времени, что само по себе является сложной инженерной задачей. Представители израильского отделения Microsoft и центрального офиса в силиконовой долине, объединились для того, чтобы реализовать академическую идею «времени полета» в коммерческий продукт.

Рисунок 3. Идея «времени полета» легла в основу работы камеры нового Kinect.
Рисунок 3. Идея «времени полета» легла в основу работы камеры нового Kinect.

Объединив свои лучшие умы, Microsoft удалось решить задачу сбора данных, однако возникли другие проблемы, связанные с перегрузкой данными из-за больших объемов и размытием контуров объектов.

Если коротко, требовалось выполнение одновременно двух условий:

  • Обработка около 6.5 миллионов пикселей каждую секунду;
  • Низкая нагрузка на Xbox One для сохранения его высокой производительности;

Изначально группа разработчиков была далека от цели. Ребята разработали алгоритмы, оптимизирующие нагрузку на процессор и выполняющие обработку изображения так, чтобы дальние объекты не сливались и не размывались при движении. Как рассказывают инженеры, выполнение этих программных задач стало возможным благодаря предварительной калибровке камеры. Если не выполнять предварительную настройку аппаратной части, алгоритмы учились бы на несовершенных или некорректных данных. Желательно обучать алгоритмы на финальных данных, а не на данных с «шумом» или тестовых данных.

Оборудование нового Kinect является мульти-компонентным, то есть существует агрегирующий узел, который собирает данные сенсоров и формирует из них отдельные потоки для каждой компоненты сигнала (Microsoft не вдается в подробности, однако есть предположение, что это отдельный чип). Также Microsoft отказался рассказать о том, где выполняется процесс «очистки» данных. Есть предположение, что для снижения на входе этот процесс, по крайней мере, частично происходит на самой консоли.

Конечным результатом является мульти-компонентный поток данных, который может быть использован разработчиками приложений на базе Xbox или PC.

В России новая консоль будет доступна не раньше следующего года.

Полезные статьи


Tags:
Hubs:
+20
Comments 26
Comments Comments 26

Articles

Information

Website
veeam.com
Registered
Founded
Employees
1,001–5,000 employees
Location
Швейцария