Компания
17,87
рейтинг
27 октября 2013 в 16:47

Разработка → Oriense. Разработка устройств помощи слепым и слабовидящим

История проекта уходит корнями в далекий 2006 год.
Тогда в питерский НИИ обратился активный член общества слепых с предложением создания устройства помощи слепым и слабовидящим.
Один из основателей нынешнего Oriense тогда заведовал отделом, который занимался в том числе зрением роботов и разрабатывал свою стереокамеру. На ней устройство и решили базировать: носимый компьютер обрабатывает информацию от двух камер и двух УЗ-сонаров и выдает подсказки в наушники с помощью голосового синтезатора.



Карту глубины должен был строить отдельный стерео-процессор на Altera, но до этого не дошло, процессор лишь осуществлял стерео-ввод. ПО бортового компьютера строило облако точек, сегментировало на объекты, по-простому их классифицировало, определяло степень опасности и выдавало предупреждения.



Макет был сделан, проект привлек достаточное внимание, но подобного исполнения и функционала было недостаточно, а дальше дело не пошло и проект заморозился, так и не дойдя до пользователей.

В 2010 году работы возобновились, но в итоге вперед мы практически не продвинулись, лишь несколько осовременив макет. Тогда стало окончательно ясно, что доведение подобного устройства до состояния реальной полезности потребует немало времени и финансовых влияний. Да и подход должен быть другим: как и многие коллективы, пытавшиеся создать нечто подобное, мы отталкивались от имеющихся технологий, а не от реальных нужд пользователей. В итоге проект был снова заброшен, не считая моих экспериментов с распознаванием изображений в рамках диссертации и аспирантских грантов правительства Петербурга.



В 2012 был третий подход к снаряду, но этот раз в виде студенческо-аспирантской разработки для Microsoft Imagine Cup. Стерео-камера была заменена на Кинект (примотанный скотчем к строительной каске), софт на скорую руку был дополнен распознаванием объектов, текста и лиц.



Петербургский этап мы выиграли, а на Всероссийский довольствовались спец-призом от Intel. Затем был БИТ (конкурс «Бизнес инновационных технологий) — второе место и спец-приз — поездка на Slush. Затем школа стартапов SumIT, где нас приметили управляющие партнеры стартап-акселератора iDealMachine Сергей Фрадков и Михаил Авербах. Мы попали в акселератор, получили 20 тысяч долларов preseed’a от фонда RSV Venture Partners и стали стартапом Oriense. Дело было в ноябре 2012.

iDealMachine поставил нам правильный процесс разработки, мы наконец-то пошли непосредственно к незрячим и слабовидящим с вопросами и сформировали проблему и требуемый функционал. Прототип был доведен до терпимого для демонстраций состояния, Кинект заменен на PrimeSense Carmine, закрепленным на груди. Агрегат был наконец протестирован незрячими в центре медико-социальной реабилитации инвалидов по зрению.



Затем мы погрузились в обычные стартаперские хлопоты: искали финансирование следующего этапа, решали юридические и организационные вопросы, много презентовались (в том числе на DEMO Europe и «железном» VC Day Ingria). В июне 2013 мы получили государственный грант по программе СТАРТ Фонда содействия, немного расширили штат, закупили комплектующих и наконец плотно занялись разработкой. Сейчас мы доделываем первую версию продукта, на которую у нас есть небольшой предзаказ от образовательного центра «Эдукор», уже имеющего опыт использования разработки для людей с ограниченными возможностями – образовательный класс с устройствам для управления компьютером без помощи рук.

Oriense-1 все еще основан на PrimeSense, поэтому будет работать лишь в условиях помещений, но мы хотя бы сможем обкатать софт локальной навигации и конструкцию носимого устройства. В качестве бортового компьютера используется Odroid-U2, сейчас дорисовывается корпус.

Параллельно мы работаем над 3D сенсором на стерео-камере, планировалось использовать чип стерео-зрения компании Etron, но переговоры с ними пока зашли в тупик. На базе платы Hardkernel с SoC Exynos 4412 мы прорабатываем свой одноплатный компьютер, который будет включать всю сенсорику: стерео, GPS/GLONASS, 9-осевой датчик положения и опционально 3G-модем. Возможно, что стерео будет обсчитываться на новых 16-ти ядерных процессорах Epiphany от Adapteva, которые используются в Parallella Board. Таким образом мы сможем сделать устройство состоящее из одного модуля, с полным функционалом: локальная навигация, глобальная навигация, чтение текста, распознавание объектов и.т.д.

Мы хотели выпустить GPS-навигатор и как отдельный девайс, на базе RaspberryPi и платы сенсорики — она сейчас в разводке. Софт планировалось сделать открытым, на базе данных OpenStreetMap, под Линукс, чтобы затем включить его в полнофункциональное устройство. Правда пока по этому софту продвижения нет.

Самым популярным средством GPS навигации у незрячих являлось приложение LoadStone GPS для Symbian, но в связи с кончиной платформы они вынуждены переходить на смартфоны, и на базе приложения OsmAnd под Андроид есть разработанная в России версия для незрячих Osmand Access, включающая в себя и часть функционала LoadStone. Большой минус смартфона в отсутствии физической клавиатуры, поэтому мы сейчас общаемся с разработчиками OsmAnd Access на предмет создания заточенного под него навигатора с ее наличием.



1-2 ноября мы будем в Москве на Форуме «Открытые инновации» (благодаря тому что Russian Startup Rating одарил нас наивысшим AAA), 6-7 ноября на Webit Congress в Стамбуле, с собственным стендом.

Базируемся мы в Питере, наш сайт – oriense.com, почта – info@oriense.com, твиттер, канал на ютюбе, последняя версия нашей презентации

Спасибо за внимание, будем рады фидбеку.
Автор: @zhukovv
Oriense
рейтинг 17,87
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Комментарии (20)

  • 0
    Сразу вопрос — сколько будет стоить конечный продукт и как он будет выглядеть? Потому что слабовидящим совсем не все равно как они выглядят и живут они, как правило, на пенсию, размер ее точно не скажу сейчас, но гораздо ниже чем стоит kinect или аналогичный датчик.

    Я к чему весь этот скепсис вываливаю сразу. Разработка-то замечательная. Проект интересный. А спроса реального на него не будет. Но исследования даром не пройдут, в любом случае. Как минимум будет полезный опыт.
    • 0
      Выглядеть — небольшой модуль на груди, либо очки плюс небольшой модуль в кармане.
      Стоить — недешево, пока получается около тысячи долларов, для российских незрячих это действительно дорого.
      Но:
      — не все живут только не пенсию;
      — есть родственники, друзья;
      — мы прорабатываем вариант с арендой устройства и помесячной оплатой;
      — мы будем стараться включить устройства в государственные программы, та же «Доступная среда».

      Также мы постоянно ищем способы снизить стоимость, например заменив 3D сенсор на что-нибудь подешевле, сейчас у нас есть прототип с ИК-дальномером.

      С западным рынком проще, первая партия OrCam быстро разошлась несмотря на стоимость в 2500 долларов.
      • 0
        А разрабатывали такой вариант:
        habrahabr.ru/post/173751/
        • 0
          Видите ли Ckpyt.

          Мы тоже думали о применении УЗ сенсора, но проведенные нами испытания показали что УЗ сенсор редкостная дрянь и годится разве что студентам побаловаться.
          Дело в том что при определенном угле поверхности относительно направления УЗ сенсора сигнал обратно не отражается, и соответственно препятствие остается незамеченным, что в нашем случае, как вы понимаете, является неприемлемым, к тому же он зачастую дает ложные результаты. УЗ сенсор эффективно работает только в случае если поверхность расположена перпендикулярно направлению излучения.
        • 0
          у нас есть прототип сделанный на шарповском ИК-дальномере. Такой фонарик, который вибрацией передает степень близости. В плане точности работает гораздо лучше УЗ, но у него область измерений достаточно узкая и плоская.
          Сами незрячие говорят что девайсы на УЗ (которых немало) практически бесполезны, часто пропускают препятствия, ветки например
  • 0
    Это замечательно.
    От себя добавлю, что нужно, чтобы устройство издавало как можно меньше звуков. Слух — один из главных каналов получения информации у слепых, и не стоит его занимать, если можно перевести вашу информацию в другую форму (тактильная, вибрация, тепло, электрические импульсы). Так будет комфортнее.
    • +1
      Это да. Сейчас в продаже появляется все больше костнопроводных (bone conduction) наушников, они позволяют не перекрывать основной слуховой канал.
  • 0
    Могут быть и другие технические девайсы помощи слабовидящим.

    Например, прорабатывался проект своего рода радиолокационного щупа — узконаправленного радара с измерением расстояния до окружающих предметов с подачей звукового сигнала (или иных способов выдачи информации). Девайс должен быть выполнен в форм-факторе фонарика. Технология планировалась либо импульсная СШП, либо мм-диапазона. Для первой основная проблема была в недостаточной направленности антенн, для второй — в дороговизне элементной базы на данный момент.
    • 0
      Устройств на сонарах и локаторах немало, в том числе и в продаже. Но просто «ощупывания» пространства недостаточно. В идеале устройство должно быть некоторым подобием человека-поводыря, подсказывающего нужную информацию
  • +1
    На моей памяти это третья или четвертая уникальная статья на хабре, описывающая высокотехнологичную трость для незрячих. В трех предыдущих случаях мнения сошлись на том, что устройство:
    — Ненадежно
    — Недостаточно автономно
    — Не то, что на самом деле нужно (незрячие говорят, что простой палочки более чем достаточно)
    — Имеет слишком низкий спрос для того, чтобы производитель вышел хотя бы на нулевую рентабельность при сохранении адекватной цены на устройство

    Ваше устройство ещё сложнее и дороже, чем предыдущие. Кроме того, для передачи сигналов оно использует звук, а это — в буквальном смысле глаза для незрячих, основной канал получения информации об окружающем мире и забивать его нельзя. Сигнализация виброзвонком или тактильно — гораздо удобнее.
    Хорошо, что люди занимаются такой темой, но заработать здесь не получится, как Вам уже говорили, поэтому подумайте о своих приоритетах — принести пользу инвалидам или запустить прибыльный стартап. Второе нереализуемо с такими исходными данными и ценой в 1000 у.е. за комплектующие. На деле с заводским браком, зарплатой сотрудникам, рекламой, расходами на инновации цену можете смело умножать на 1.5-2.
    • 0
      Вы в чем-то правы, но есть некоторые возражения:
      — «палочки достаточно» это зависит от человека, кто-то обходится только ей, кто-то пользуется сразу несколькими электронными устройствами. В целом палочки конечно недостаточно, попробуйте походить с ней сами.
      — Проблема забивания слуха решается либо костнопроводными наушниками, либо динамиком. Те же навигаторы для незрячих тоже передают информацию голосовым синтезатором и ими вполне себе пользуются. А тактильным способом всего не передать.
      — 1000 это не цена комплектующих, она где-то 300-400 на данный момент.
      — В плане прибыльности стартапа мы прорабатываем выход с полученными наработками на рынок робототехники и носимых устройств.
      • 0
        В таком случае желаю Вам удачи, дело стоящее.
        Самое главное, чтобы устройство на самом деле качественно повышало уровень жизни незрячего.
        Мы с родителями когда-то уговорили моего дедушку на слуховой аппарат — он работал трактористом и к старости очень плохо слышал. Как только дело дошло до замены/зарядки батареек он сказал, что ему неудобно, это лишние для него хлопоты и вернулся к привычному чтению по губам и громко включенному телевизору.
        А как у Вас обстоят дела с сертификацией, особенно за рубежом? Не относится ли этот аппарат к медицинским устройствам?
        • 0
          Спасибо!
          да, люди преклонного возраста предпочитают классические средства. Но вообще общество слепых занимается пропагандой использования современных устройств, организовывает курсы, один из наших консультантов — преподаватель по GPS-навигации для незрячих.
          Пока мы только на сертификат соответствия подавали. Мы постараемся чтобы не относился) За рубежом с этим будет непросто. Когда у нас были собеседования на различные иностранные конкурсы, нас первым делом про это спрашивали.
          • 0
            Опять же — возможность продавать устройство без ограничений — это хорошо, но это устройство жизненно необходимо для человека, который его использует. Следует позаботиться о том, чтобы человек, доверившийся девайсу не оказался посреди города (а еще хуже — посреди проезжей части) с нерабочим устройством.
            В первую очередь я бы предусмотрел возможность подключения аварийного питания (какой-нибудь бэттери-пак, в который можно воткнуть обыкновенные батарейки).
            • 0
              да, это обязательно. Мы также хотим добавить функционал тревожной кнопки, например отправку смс доверенному лицу в случае проблем с устройством или падения незрячего. А также чтобы доверенные лица могли посмотреть на сайте где находится человек, информацию о состоянии устройства, и, возможно, картинку с камер устройства для удаленной помощи. Подобное у нас уже проработано для автомобильного gps-трекера.
  • 0
    Про сегментацию предметов на карте глубин расскажите — это отдельная разработка или часть какой-то библиотеки? Доступно ли это в исходном коде?

    И еще вопрос — какое питание у всех устройств и каково автономное время работы. Мне кажется, что 3D сенсоры жрут довольно много энергии. И сколько все это по весу?
    • 0
      За основу берем то что есть в OpenCV и PCL library. В PCL есть в исходных кодах разные примеры сегментации.

      Сейчас мы пробуем аккумулятор для мобильников на 5200 мАч. На следующей неделе будем проверять на сколько его хватит. По весу будет ясно когда корпус доделаем. Навскидку — грамм 500. Ну и сенсор отдельно.
  • 0
    Большой минус смартфона в отсутствии физической клавиатуры, поэтому мы сейчас общаемся с разработчиками OsmAnd Access на предмет создания заточенного под него навигатора с ее наличием.

    Может быть есть смысл сделать специальную клавиатруру-чехол с соответствующими кнопками, надеваемую на смартфон? (имеется в виду активная клавиатура с реальными кнопками).
    Можно nfc использовать: habrahabr.ru/post/222639/, тогда и питание не понадобится.
    • –1
      можно. Но дело не только в клавиатуре. Наличие дополнительных сенсоров, точность определения координат, возможность внесения устройства в список средств реабилитации (смартфон не внесут). Возможно — цена. Специализированное устройство всегда лучше выполняет свою отдельную функцию, чем комбайн, тем более здесь много специфики.
      • 0
        Раньше же незрячие обходились телефонами на Symbyam, вы сами об этом пишете.
        Специализированное устройство будет значительно дороже смартфона.

        возможность внесения устройства в список средств реабилитации (смартфон не внесут)

        Может быть, государство/фонды и не купят такую клавиатуру, а родственники слепого могут заинтересоваться.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка