Как узнать какие цветы дарить девушке, если у нее двигается только голова и она не может говорить?

Всем привет! Я Иван Бакаидов. И сейчас я расскажу как я помогаю людям с двигательными нарушениями и нарушениями речи. Но сначала немного обо мне:

  • Мне 17 лет
  • ДЦП — у меня самопроизвольно сокращаются мышцы тела… Все
  • Неразборчивая речь. Понимают только мама, брат и одноклассница
  • Node.js, Java, Android dev, Unity3d
  • Выступал на гуманитарном саммите ООН с посланием о правах человека с нарушениями речи и важности AAC

image


AAC


ААС (Альтернативная Аугментативная Коммуникация) – средства, способы, системы, которые помогают детям и взрослым с серьёзными проблемами в развитии вербальной речи выразить себя и лучше понимать происходящее.

Как всё началось. DisQwerty


У нас в школе есть группа продлённого дня. Там я и познакомился с девочкой Линой, она запала мне в душу. Однажды я увидел, как она общается с ассистентом, когда делает упражнения по математике (у Лины была папка с листами, на листах было напечатано по одной цифре от 0 до 9, на нужной цифре Лина кивала) и решил перенести этот механизм общения в код, заменив ассистента компьютером с кнопкой.

image

Лина. Автор: Леша Костромин

Перенёс. Код тогда умел только на js писать, к сожалению. Поэтому выглядела программа забавно. Но получилось! Я принёс эту клавиатуру к Лине в класс. После внесения некоторых изменений (переход на Node-webkit, добавление возможности создавать свои наборы, т.е. учитель может опросить детей в классе, дав им на выбор 4 варианта). Ещё я создал игру в Unity для обучения такому механизму выбора.

Несколько видео:

Наборы даже с картинками:

Девочка Саша печатает своё первое в жизни слово, ей 17 лет:

Игра DisCoin:

Играем в DisCoin в классе:


DisType


Тяжелым случаям помог — супер. Но есть не такие тяжелые случаи. Например раньше я общался с людьми, показывая пальцем буквы на бумажной клавиатуре. Очень дешёвый девайс, но у него есть свои минусы — например, собеседнику надо следить за пальцем. Тогда я решил создать приложение для Android, которое использует системный TTS API. Приложение очень простое: поле ввода и кнопка «Cказать», но, как ни странно, помогает очень.

Потом я подумал и решил, что просто приложение с двумя элементами и одним MainActivity.java слишком просто. И добавил функцию сохранения сказанных фраз в бд и вывод их в listview под полем ввода с сортировкой по частоте ввода. Но вскоре фраз стало слишком много и я добавил ещё категории. Поговорил и раскидал по категориям после разговора.

К тому времени я забыл напрочь пароль KeyStore, так что пришлось делать отдельное приложение: DisType Pro. Кстати, с speechkit’ом от яндекса, ибо встроенный TTS не говорил мужским голосом. Так что теперь с нормальным интернетом я мужчина, а в оффлайне — девушка. Надеюсь, Яндекс скоро выпустит оффлайн-версию их суперской библиотеки.

Все же не все умеют читать и писать DisTalk


Есть популярный девайс GoTalk. Небольшое устройство, которое записывает аудиозаписи на кнопки, в которые можно вставить картинки. Но как все инва-оборудование, дорогое (например, кнопка для DisQwerty, которая просто служит левым кликом мыши, стоит 100$). Я создал аналог GoTalk для Android. Простое приложение, которое берёт картинки из папки DisTalk на карточке устройства, строит из них gridview и при нажатии говорит название файла. Ещё картинки можно разложить по папкам (наборам) и переключать наборы).

Нужна помощь


Все программы бесплатны, хотя бы по следующим причинам:

  • Гуманно
  • Сложное оформление ИП и налогов
  • Оттолкнёт и так униженных жизнью пользователей

Но для развития нужна помощь:

  • Перенос программ на iOS и Windows Phone
  • Художник для создания иконок
  • Помощь в создании сервиса хранения фраз для DisType
  • Юрист
  • Помощь с аппаратной частью
  • Donate, because open source

Мой сайт: aacidov.ru

От модератора: данная публикация нарушает некоторые правила сайта и в «Песочнице» мы обычно сразу отклоняем подобные. Но в данном случае сделали исключение, дооформили публикацию и надеемся, что среди пользователей Хабра найдутся неравнодушные люди, которые помогут развитию проектов.

Иван, ты молодец!
aacidov.ru 24,54
Компания
Поделиться публикацией
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама
Комментарии 81
  • –68
    Заминусуйте меня за оффтоп, но после таких статей многократно усиливается ненависть за то, что сделали с нашими параолимпийцами!
    Иван, успехов! Немножко помог Вам.
    • –35
      Вдруг стало любопытно: а какой процент нашей сборной паролимпийцев составляют бывшие спортсмены, ставшие инвалидами из-за разных препаратов. Случайно не знаете?
      • +23
        а еще говорят, что Хабр не прислушивается к комментаторам:)
        • +12
          Вы хотя бы посмотрите, как пишется это слово.
          • +2
            Если вы про «параолимпийцев», то оба варианта правильны. Или речь про что-то другое?
          • 0
            Вы когда так пишите, обязательно пишите кто сделал, что именно сделал и за что сделал
          • +16
            Не побоюсь повториться — Иван вы огромный молодец, продолжайте в том же духе!
            • +13
              Мурашки по коже от поста.
              Автор поста крут!
              • +21
                Иван, зашел на ваш сайт aacidov.ru, пробежался по проектам. Подумал может вам стоит выложить свои проекты в github.com, чтобы сообщество могло видеть и развивать ваши проекты
                • +20
                  чуть позже обязательно. и будет пост о каждой программе!
                  • 0

                    Если будет нужна помощь с освоением GitHub и вообще Git — обращайтесь.

                • +6
                  Иван, вы молодец! Закинул немного денег вам на счет. Желаю успехов и пишите еще на хабр!

                  По поводу помощи с аппаратной частью — напишите, чего вам не хватает. Уверен, если не я, то хабр точно поможет :).
                  • +1
                    Почему-то после доната при возвращаении на
                    http://aacidov.гu/thanks
                    редиректит сюда и 404
                    http://aacidov.xn--u-etb/thanks
                  • +6
                    Ввод текста одной кнопкой?? Смело!

                    Если выбор идёт от левого верхнего края, стоит перераспределить буквы в соответствии с частотой вхождения, чтобы для выбора «А», «О» и так далее нужно было меньше нажатий, чем, скажем, Ъ. Ну и чтобы быстрее привыкнуть, гласные сделать красными, согласные — синими и т. д.

                    Можно автозавершать слово, если оно угадывается по словарю.
                    • +2
                      Да, самые популярные буквы вынести «в начало».

                      Можно так же нажимать не два раза, а три раза.
                      Сначала выбирается блок, затем строка, затем столбец.

                      Это существенно убыстряет написание текста.
                      • +2
                        я использую в сашином случае яндекс предикт. посмотри демку тут: http://aacidov.ru/DisQwerty
                      • +2
                        Еще можно разделить на две кнопки — левая ведет отсчет с левой стороны, правая с правой. Нажатие запускает отсчет, отпускание подтверждает выбор.
                        • +1

                          Увидел реплику про одну кнопку, и почему-то сразу вспомнил про телеграфный ключ и морзянку…
                          В принципе, что-то в этом есть — но только взять не морзянку, а закодировать буквы последовательностью точек-тире по Хаффману, согласно частотному словарю разговорного языка. А дальше можно так же — визуально разделить на множество групп. Например, верхняя часть — все буквы, начинающиеся с "точки". Нижняя — с "тире". А там — так же правая/левая половины оставшегося и т.д.
                          Учитывая Хаффмана большинство букв получатся в 2-3 движения.

                          • 0
                            Проблема морзянки в том, что нужно очень четко выдерживать паузы между сигналами — в данном случае это невозможно.
                        • 0
                          Некоторое расположение символов можно взять с клавиатуры dvorak
                          • +3
                            Низкий поклон.
                            Могу помочь с ios/android/wp разработкой, вы удивитесь, насколько всё просто.
                            • +1
                              просто было бы если бы avspeechsynthesizer работал на айос. а то он зараза на эмуле хорошо говорит, а на реальном айпеде ни слова
                              • 0
                                Если заработало на симуляторе, то есть как минимум n способов запустить на железке. Надо пощупать…
                                * потянулся за плоскогубцами *
                            • +1
                              Существуют системы, способные распознавать, куда именно на экране смотрит человек. Точность — сантиметра 3. Стоят, в общем, не дорого — там качественная вебкамера с оптическим увеличением прямо в лицо и софт. Может пригодиться.
                              • +12
                                Я не зря написал, что все мышцы дергаются. Реально все и глазные. айтрекинг для дцп мертвая петля
                                • +3
                                  А что на счёт нажатия с помощью дыхания? Существуют ли подобные системы?
                                  Скажем, вместо кнопки расположить чувствительный микрофон возле носа и улавливать нажатие при резком выдохе.
                                  • +2
                                    видел на западе. сколько стоит смотреть боюсь…
                                    • +1
                                      Надеюсь, скоро будет не только на западе. У нас в университете уже вроде испытывают такую систему, но она пока хреново работает, её постоянно дорабатывают.
                                      • +3
                                        Это же всего лишь микрофон. Дорого он стоит потому, что нужен малому проценту людей. Я считаю нужно делать открытые проекты, много открытых opensource проектов. Внести посильный вклад в такой проект может каждый. Кто-то умеет программировать, кто-то возьмёт на себя аппаратную часть, но вы удивитесь сколько работы в каждом таком проекте не требет специальных знаний. Проверить орфографию, сделать или чуть доофорить страничку проекта, написать или просто отформатировать пару абзацев документации, поучаствовать в формировании ТЗ в конце концов. Краудсорсинг, как мне кажется, не ограничится википедией. Нужно больше открытых площадок для открытых проектов. Кто-тог отов посвятить теме много времени, а кто-то готов сделать узкую небольшую и специальную вещь, но ему нужно четко понимать что и как должно получиться. Оттачивание ТЗ не требует технических знаний, а детализаованная задача, не требующая принятия решений от исполнителя — это очень удобная штука.
                                        Успехов вам.
                                        Публикуйте проекты на гитхабе или битбакете, пишите о них статьи и люди подтянутся.
                                        Думаю многие здесь любят интересные задачи и с удовольствием помогали бы каждый в своей области.
                                        Вон идея с вводом текста дыханием — это показатель. Да, она не нова и есть реализации, но здесь не требуется сложной аппаратной части и, наверняка, можно обойтись простой гарнитурой-прищепкой + программный модуль для смартфона.
                                        Нейронные сети, глубинное обучение, эволюционные алгоритмы… есть масса инстурментов. А ещё есть масса информации в сети. Наверняка софт для Стивена Хокинга в opensource. Неужели его нельзя адаптировать на другие случаи?..
                                        • 0
                                          Да, это действительно всего лишь микрофон. И стоят они тоже крайне дешево. Их даже устанавливают в одноразовых электронных сигаретах (типа Pons).
                                          • +1
                                            Так PONS это и есть аппаратная составляющая однокнопочной клавиатуры! Выдернуть спираль и провода к кнопке!
                                        • +1
                                          Есть вот такой конструктор — http://www.bitronicslab.com/
                                          На его основе можно что нибудь собрать.
                                          • 0

                                            Как насчёт движений грудины? Резиновая лента вокруг груди, глубокий вдох — нажатие.


                                            все мышцы дергаются.

                                            А как насчёт языка?

                                        • +1
                                          Знаю, что случаи разные. Возможно, вопрос больше даже адресован пользователям, среди которых есть специалисты.
                                          Может ли в данном случаи работать электроэнцефалография. Я так понимаю, ЭЭГ следит за электрической активностью мозга и сам не вырабатывает никаких полей. Просто в свое время наталкивался на кучу девайсов подобного рода для разработчиков игр, некоторые даже с инструментами под разные платформы. Возможно, не стоит рассматривать их так серьезно. Но может найдутся те кто пробовал и смогут сказать пару слов о том насколько они отзывчивые и сложно ли приучиваться.
                                      • +3

                                        Вы большой молодец!
                                        Знаком с проблемой не понаслышке. У моего брата ДЦП 3-ей степени, он может двигать только зрачками и веками глаз. Говорить не может.


                                        Пробовал использовать эти возможности для набора текста с помощью специальной клавиатуры Dasher и eye tracker-а.


                                        пример работы клавиатуры Dasher

                                        image


                                        В принципе получилось, но для моего брата такой способ плохо подходит, так как надо надевать eye tracker на голову, да и монитор должен располагаться перпендикулярно взгляду, то есть над кроватью.


                                        Очень понравилась идея набора одной кнопкой. Готов помочь в дальнейшем развитии и реализации проекта.

                                        • +1
                                          А как это работает, не расскажете? Я просто немного не понимаю по видео. Тут надо двигать мышкой, а блоки двигаются на экране сами непрерывно? Но как это поможет человеку, у которого дёргаются все мышцы?
                                          • +1

                                            Да, Вы правы, тут надо двигать мышкой, например, с помощью eye tacker-а. Блоки появляются непрерывно, Вы выбирает указателем блоки и можете динамически регулировать скорость их появления тем же указателем. Блоки подбираются специальным алгоритмом в соответствии со словарем и частотой использования. Здесь можно посмотреть демонстрацию работы. Если eye tracker или мышка не вариант, то этот способ, к сожалению, не подходит.

                                        • +2
                                          Автор, вы очень молодец!
                                          • +2
                                            Иван, вы молодец! Успехов Вам и терпения.
                                            • +1
                                              Ибо встроенный TTS не говорил мужским голосом

                                              Я давненько видел обзор русскоязычных TTS-ок под дроид, покопался в истории броузера — вот вдруг вам что-то подойдет (бесплатные там тоже вроде были) — http://www.tiflocomp.ru/devices/android/ruvoices_overview.php


                                              Ах да — вы просто молодчина!


                                              И спасибо модераторам за "исключение"...

                                              • 0
                                                С тех пор на Android появилось ещё некоторое количество синтезаторов речи, правда большинство коммерческие. Если надо, могу дать ссылки на все существующие решения.

                                                Однако в контексте бесплатности и открытости, Иван, посмотрите на проект RHVoice — https://github.com/Olga-Yakovleva/RHVoice/wiki/Downloads

                                                Там есть мужской и женский голос, а главное и для русского, и для английского языков (для англ. только мужской), плюс его можно приспособить практически под любую платформу, а главное локально, чтобы не гонять трафик с облачным TTS.
                                                Под Android есть уже готовая реализация, которую можно просто поставить и использовать.

                                                Кстати, RHVoice — это изначально был проект синтеза речи для незрячих, чтобы читать информацию с экрана.
                                              • +1
                                                Можно сделать управление джойстиком. Не знаю сколько они стоят, но если сильно дорого, возможно кто-нибудь из радиолюбителей хабра сделает бюджетный вариант. А потом можно и на кикстартере кампанию запустить.
                                                Автору удачи!
                                                • +7
                                                  Простите за наглый/глупый вопрос, что ощущает человек с дцп когда говорит? Как он ощущает ту силу что мешает ему сказать?
                                                  Спасибо Вам за помощь.
                                                  • +1
                                                    Хм, круто!
                                                    • +4
                                                      Правда, попробуйте оформить проект той же кнопки в виде репозитория на гитхабе. То есть в репозиторий должно попадать все от странички проекта и первичного тезисного ТЗ, до чертежей, вариантов реализации, исходного кода и технической документации. Если начать с описания сути проблемы и указать ссылки на места обсуждения, а также очертить направления возможной помощи, то, думаю, многие увидев огромный чек-лист простых задач с азартом кинутся сделать парочку или закрыть целый блок. Кто-то соберет и проклассифицирует идеи из результатов мозгового штурма проблемы в комментариях на хабре. Кто-то проиллюстрирует и дополнит какие-то варианты реализации, кто-то сформирует ТЗ и наведет порядок в файлах проекта… Иногда очень важно получить прямую обратную связь, показывающую нужность и полезность своих знаний и навыков.
                                                      • +3
                                                        я вот не понял, вас понимают несколько человек, они понимают только по, извиняюсь за выражение, по звукам которые вы произносите с шумами, или им что бы понять вас нужно еще видеть жестикуляцию? я чо спрашиваю, ведь теоретически, реально брать нейрсетку обученную на распознавание голоса, и дообучать на конкретного человека, конечно придется поработать самому человеку, что бы собрать базу выражений, ну т.е. наговорить как может, и к каждому приписать текст; вроде как век персонифицированной медицины, а мы блин картинки стилизуем
                                                        • +2
                                                          Если человек проглатывает некоторые звуки, а это практически всегда так, то нужно не только привыкнуть к его акценту, что нейросети теоретически под силу, но и восстанавливать слова с учетом контекста, что уже нереально.
                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                            • 0
                                                              Почему же нереально? Есть же системы коррекции опечаток, даже в том же Андроиде. Можно собирать списки наиболее частых контекстов (блоков подряд идущих слов разном порядке), и предлагать «популярные» варианты для данного конкретного пользователя.
                                                          • +2
                                                            Не смог пройти мимо! Вы молодец!
                                                            • +1
                                                              А система используемая Хокингом нигде не представлена в опенсорсе? Насколько я понимаю — у него очень похожий принцип. Только скомбинированы словарные таблицы (таблицы часто используемых слов) и «ручной» ввод по буквам.
                                                              • +3
                                                                опубликована, пробовал переводить на русский, не справился
                                                                • +3
                                                                  Скиньте ссылку, может, толпой навалимся и сделаем.
                                                                  • +2
                                                                    пост создам, но думаю нам под нашу грамматику надо свое писать
                                                                    • +1
                                                                      Насчет навалимся, можно подготовить конкурс (наподобие фильтрации почты на js и других).
                                                                      Каждый процент результата может сильно упростит жизнь в итоге.

                                                                      Не помню, были ли задачи в области распознавания речи, в поиске вижу, что что-то было.
                                                                      Как уже говорили, задача сложная и интересная, можно применить множество знаний.
                                                                      Начать с фильтрации шумов и закончить попытками предсказать будущее)

                                                                      Причем, можно не сильно ограничивать участников в выборе инструментов, количестве попыток и т.д.
                                                                      Предполагаю, потребуется приличная выборка слов речи, не знаю в каком формате, наверно wav какой-нибудь)
                                                                • +3
                                                                  Стоик! Вперед!
                                                                  Малец закинул.
                                                                  • +1
                                                                    Пишите еще. Вдохновляйте.
                                                                    Мои +3⇑ всегда ваши, к каждому посту.
                                                                    • +2
                                                                      Моя речь тут.
                                                                      И вообще эта лекция Ильи Утехина очень крута
                                                                      p.s. съемкам года 4
                                                                      • +3
                                                                        Иван вы молодец!
                                                                        Преклоняюсь перед вами.
                                                                        То что вы не сломлены болезнью восхищает.
                                                                        Какая нужна будет помощь в аппаратном или программах дай знать.
                                                                        Можно даже сделать блок по каждому конкретному проекту.
                                                                        • +3
                                                                          Парень, ты крут. Продолжай в том же духе. Ты большой молодец!
                                                                          • +1
                                                                            Было бы недурно, если производители или продавцы HW подтянулись как то с помощью.
                                                                            • +3

                                                                              Иван, Вы не просто молодец, а однозначно имеете задатки лидера и это говорит о том, что Вы имеете все шансы на достижение Вашей цели. Ваша статься тронула за душу.


                                                                              Что очень радует, это то, что Вы высоко социальный человек. Несмотря на все имеющийся трудности Вы не просто готовы их устранять, а главное главное помочь остальным избавиться от них.


                                                                              Ваша статься мне дала серьезный повод к переоценке взгляда на жизнь.
                                                                              Так уж сложилось, что у меня с детства очень хорошая память и я помню себя с 2-х лет,
                                                                              и пока я читал Вашу статью, я вспомнил как в детстве я не мог нарадоваться возможности побеситься.
                                                                              Мне казалось что в мире просто не существует ничего совершенней, чем мое тело, и это просто высшая инженерия, говоря современными словами. Но прошло время и эти воспоминания отошли на задний план, а на передний пришли материальные ценности и т.п.


                                                                              Так что спасибо Вам за статью, после прочтения которой я вспомнил, кто я есть.


                                                                              А для решения технической составляющей проблемы, которую Вы здесь изложили, я думаю нужен системный подход., Нужно расписать задачу в целом: составляющие, необходимые для его реализации (какое железо, софтовые задачи и т.п), и конечно уже готовые реализации в OpenSource.


                                                                              Если я как разработчик ПО для встраиваемых систем могу Вам чем-то помочь, пишите мне на email: gera_box@mail.ru

                                                                              • +1
                                                                                Иван, какая именно помощь требуется с «железом»?
                                                                                • +1
                                                                                  Иван, я на Вашем видео вижу, что Вы в некоторой степени владеете пальцами. Как насчёт датчиков сгибания пальцев?
                                                                                  • +1
                                                                                    я то легко печатаю на маковской клавиатуре. мне девайсы не нужны. а так вещь крутая, плюс если научится отличать гиперкинезы от произвольных движений
                                                                                    • 0
                                                                                      Выглядит монстроузно в плане кучи железа, разумнее взять MYO-браслет (стоит порядка 20к руб сейчас вроде как) и научить его фильтровать флуд при непроизвольных сокращениях. У браслета есть 2 недостатка — нужно калибровать при каждом надевании заново и он сильно врезается в кожу (долго не поносишь) из-за плотного прилегания для более четкого снятия данных.
                                                                                    • +4
                                                                                      Иван, вы молодец.
                                                                                      С программами помочь не могу, но финансово поддержал.
                                                                                      • 0
                                                                                        Иван, вы молодец! Вы делаете очень нужные вещи.
                                                                                        • +1

                                                                                          Очень хорошо, что люди с такими болезнями тоже могут заниматься полезными и нужными вещами и то, что они тоже находят себя в этой жизни. Вы большой молодец!

                                                                                          • 0
                                                                                            Хороший topic!!!
                                                                                            И он меня зацепил, силой духа и целеустремленности ИВАНА.
                                                                                            Всем крепкого здоровья и Удачи в дальнейшей судьбе ваших трудов!!!
                                                                                            • +2
                                                                                              Сегодня будет видео прототипа кнопки, мне ГУАП помог с ним, нужно будет производство
                                                                                              • +1
                                                                                                Иван, если вам нужна будет помощь с налогами или регистрацией ИП, то пишите, буду рада помочь.
                                                                                                  • 0
                                                                                                    Иван, готов помогать по юридической части.
                                                                                                    • +4
                                                                                                      Сегодня #кафедра54 ГУАПа сделала образец кнопки
                                                                                                      • 0
                                                                                                        Иван, преклоняюсь перед такими людьми, как вы!

                                                                                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                                        Самое читаемое