company_banner

Танцуют ли роботы Tango

    Project Tango от Google — проект по созданию мобильных устройств, способных анализировать пространство вокруг себя в трёх измерениях. Благодаря проекту Device Lab мне удалось поиграться одним из таких устройств.


    Статья автора Сергея Мелехина, в рамках конкурса «Device Lab от Google».

    Мне показалось интересным сделать робота, который будет использовать Tango для ориентирования в пространстве и избежания столкновений с препятствиями.

    Три базовые функции Tango


    Motion tracking

    Определение изменения положения устройства в пространстве.


    Во всех современных смартфонах есть акселерометр и гироскоп, которые позволяют определять изменение положения устройства, но они крайне не точны и определять абсолютное положение устройства с их помощью проблематично.

    Depth perception
    Благодаря наличию специальных датчиков — инфракрасной камеры и инфракрасного лазера, проецирующего двумерную сетку на пространство перед устройством, Tango может получать облако точек, то есть трёхмерную картинку пространства, находящегося перед устройством.



    Area learning
    Объединив motion tracking, depth perception и добавив чёрной алгоритмической магии, в реальном времени объединяющей point cloud на манер панорамы, мы получаем возможность строить полную модель окружающего пространства в памяти устройства и затем точно определять своё положение внутри этой модели.


    Основные применения


    • Дополненная реальность (виртуальные объекты действительно «прилипают» к реальным поверхностям, а не парят над ними или погружаются внутрь, как это бывает без Tango)
    • Точная навигация в помещениях
    • Игры
    • Картографирование помещений
    • Создание 3D моделей (пока довольно грубых, но всё же)

    На самом деле, лучший способ понять что может Tango не имея устройства — посмотреть на существующие приложения в Play Market:





    TangoBot


    В понедельник я получил долгожданное устройство. Конечно оно было разряжено в ноль. Я зарядил до 100% и включил.



    Сначала перепробовал всё, что было уже установлено на устройстве, потом понаскачивал в Play Market всего подряд. Наибольший восторг вызвал Tango Constructor, позволяющий сканировать окружающее пространство и сохранять текстурированную 3D модель.

    Но поиграли и хватит — у меня всего 3 дня на то, чтобы сделать робота и научить его ориентироваться в пространстве.

    Первым делом — документация. На https://developers.google.com/tango/ есть всё что нужно для того, чтобы начать разрабатывать для Tango в кратчайшие сроки. Я начал с изучения стандартных примеров здесь.

    Для моего проекта я решил не углубляться в Area Learning а просто анализировать Point Cloud в реальном времени. Конечно первый вариант был бы намного интересней, но я боялся не уложиться в срок.

    Для «тушки» робота я взял Arduino Mega с Motor Shield и двумя моторами. Запрограммировал Arduino так, чтобы она слушала и выполняла команды, приходящие по последовательному порту (который эмулируется на USB). Платформу вырезал из 3мм фанеры лазером, само по себе — увлекательно.



    Скетч для ардуинки можно взять тут. Само устройство Tango несёт на борту Android 4.4, поэтому управляющая программа будет приложением Android. Для общения с Arduino я использовал библиотеку usb-serial-for-andoid.

    Протокол общения с Arduino выбрал наипростейший — всего 5 однобайтных команд:

    • F — едем вперёд
    • B — едем назад
    • L — поворачиваем влево
    • R — поворачивам вправо
    • S — останавливаемся

    В конфигурации Tango задаю, что мне требуется point cloud «KEY_BOOLEAN_DEPTH»:

    private TangoConfig setupTangoConfig(Tango tango) {
       // Create a new Tango Configuration and enable the Depth Sensing API.
       TangoConfig config = new TangoConfig();
       config = tango.getConfig(config.CONFIG_TYPE_DEFAULT);
       config.putBoolean(TangoConfig.KEY_BOOLEAN_DEPTH, true);
       return config;
    }
    

    Tango возвращает карту глубин (point cloud) в виде одномерного массива чисел с плавающей запятой. Первый по счёту (а по индексу — нулевой) элемент массива — координата x первой точки, второй — у первой точки, третий — координата z первой точки. Четвёртый элемент — это координата x уже для второй точки. Ну и так далее.

    Я не силён в робототехнике и геометрии, поэтому алгоритм анализа карты глубин высосал из пальца. Кхм, ну то есть вывел эмпирически.

    К препятствию я отношу точки, попадающие в параболическую область перед устройством, заданную квадратичной формулой:



    Коэффициенты подобраны так, чтобы парабола была вытянута вглубь и в ширь (по у), немного сдвинута вниз (на 10 см).

    И при этом эти точки должны находиться ближе 50 см. Если этих точек не менее пяти, и мы видим их два «кадра» подряд (пытаюсь избежать ложных срабатываний) — то поворачиваем робота влево.Простой алгоритм, но он прилично работает для пространств не сильно сложной конфигурации (например в офисе).

    Чтобы иметь возможность управлять роботом удалённо, я добавил в проект поддержку Firebase и при изменении параметра stateString на сервере посылаю соответствующую команду Arduino.



    Робот катается, уворачивается от стен и мебели, управляется удалённо, чем очень меня радует.

    Вот так он катается:



    Меня порадовала простота разработки — на софт у меня ушло два дня, при том что я не Android и даже не Java разработчик — тратил время на войну с gradle и не понимал, почему нельзя итерировать по итератору.

    Так что могу констатировать, что будущее наступило — порог входа в разработку продуктов на базе Tango крайне низок. Tango SDK весьма прост и логичен, на рынке появляются уже обычные пользовательские устройства с поддержкой Tango.

    Проект можно сделать интересней, если использовать не облако точек, а модель, построенную с помощью Area Learning. Можно попытаться классифицировать окружающие предметы с помощью TensorFlow, благо 192 ядра Cuda на устройстве позволяют.

    Спасибо за внимание, и поменьше вам препятствий на пути!

    • +18
    • 5,8k
    • 3
    Google 92,14
    Филин Лаки
    Поделиться публикацией
    Комментарии 3
    • +1

      Area Learning — это они так SLAM обозвали?

      • 0
        Да, так называется их реализация SLAM в 3D пространстве.
      • 0
        Интересная статья.

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое