«Виртуальная» клавиатура для iPhone из листа бумаги, стола и приложения

    Британский студент университета Goldsmith в рамках своих исследований по проектированию интерфейсов создал клавиатуру для iPhone, состоящую из написанного им приложения, взаимодействующего с акселерометром устройства, и буквально листа бумаги и любой твердой поверхности.

    Суть идеи можно понять из картинки ниже: смартфон лежит на столе, под ним лист бумаги с нарисованной «клавиатурой»; для набора текста надо «щелкать по клавишам» — вибрации, которые при этом возникают, анализируются при помощи акселерометра и преобразовываются в «символы».





    На видео видно, что приложение может работать в нескольких режимах: в одном обучающем, во втором непосредственно для набора текста. Видно, что «клик» по одной и той же клавише вызывают колебания приблизительно одной и той же амплитуды, что, очевидно, должно соответствовать, коду клавиши при своеобразной калибровке под конкретную клавиатуру.



    Утверждается, что точность работы приложения составляет 80%, и оно всё-таки лучше работает именно с небольшими устройствами, «сотрясти» которое «кликом» пальца возможно, тогда как такой же фокус на более массивном iPad уже почти не работает.

    [Источник]
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама
    Комментарии 76
    • 0
      Попробовать я так понимаю нельзя еще?
      • +1
        Автор говорит, что это вроде концепта или курсовой работы.
      • +25
        Ученик британких ученых)

        Вообще идея неплохая )
        • +3
          Мне вспоминаются чуваки, которые лет 7 назад в качестве пруфа проанализировали звук печатающего на клавиатуре человека и сделали кейлогер работающий за счет снятия звука нажатий. Правда, он конечно работал только для конкретной связки человек — клавиатура, и в весьма идеальных условиях но идея была интересная.

          П.С. А вообще, в свое время ждал вот такой www.virtual-laser-devices.com лазерной клавиатуры, но она что-то не сильно прижилась.
          • +1
            В прошлом году проскакивала новость про то, что можно снимать нажатия с обычной экранной клавиатуры телефона за счёт акселерометра — но точность очень низкая, хорошо проходило только в плане пар символов — чтобы распознать пароль, его надо было поймать его ввод чуть ли не десяток раз.
          • +2
            Значительно более реальный и универсальный способ для конкретной модели клавиатуры — это снимать радиочастотные помехи. Даже статеечка была в Хакере.

            Хотя всё это, как и описанный в посте способ сродни гаданию на кофейной гуще. Не более чем тянет на курсач.
            • +7
              Мне вспоминается история, услышанная давненько. Возможно, байка, но интернет её помнит:

              В начале 50-х годов в здании американского посольства в Москве было обнаружено необычное устройство подслушивания. Когда в мае 1960 года американский посол публично продемонстрировал его в ООН, оно привлекло огромное внимание общественности. “Вещица” представляет собой металлический цилиндр, спрятанный в теле резного деревянного герба Соединенных Штатов.

              В свое время он был подарен американскому послу в Москве. Не долго думая, подарок был водружен в его кабинете на стену, как раз над рабочим столом посла!

              На гербе изображен белоголовый орел, прямо под клювом которого просверлено отверстие, позволявшее звуковым волнам достигать подслушивающего устройства. По началу американские специалисты были просто обескуражены, не в силах установить, как оно работает: в нем не было источников питания (?!), напрочь отсутствовали привычные радиодетали.

              Эту непонятную находку весьма символично окрестили The Thing — “вещица” или “нечто” (вполне подходит для названия современного фильма ужасов про вторжение пришельцев!).

              И только Питеру Райту незаурядному английскому специалисту по специальной технике удалось раскрыть принцип работы этой “вещицы”. Впоследствии британская спецслужба воспроизвела копию этого устройства под названием “Сатир” для использования как английской, так и американской разведками.

              Как работала “вещица”

              Из соседнего здания в сторону антенны подслушивающего устройства, установленного в гербе направлялся “радиолуч” высокой частоты. Звуковые волны, сопровождавшие разговоры в кабинете американского посла, вызывали колебания мембраны, закрывающей металлический цилиндр. В результате изменялась электрическая емкость между этой мембраной и специальным настроечным винтом. Эти изменения приводили к модуляции отраженного “радиолуча” указанным звуковым сигналом. а приемном пункте этот сигнал принимался и обрабатывался.

              Что-то мне подсказывает, что с современным уровнем техники, при большом желании и поддержке разведки такие данные можно чуть ли не через стену снимать.
              • +9
                Это реальная история. Более того, автором девайсины был Лев Термен, настоящий инженерный гений.
                • +1
                  Мне стыдно признаться, что не читал об этом человеке ранее.

                  Просто восхитительно. Прошло почти 100 лет, а его изобретение и сейчас меня заворожило.

                  XX век был по истине революционным, во всех смыслах, в научном плане было сделано за эти 100 лет больше, чем за предыдущую 1000 лет, и наши соотечественники внесли огромный вклад в развитие науки во всех отраслях.
                  Приятно читать такие статьи, спасибо.
                • 0
                  Аналогичная история есть про снятие звуковых колебаний с оконных стёкол. С улицы наводится лазерный луч, модулированное отражение принимается, обрабатывается, вычленяется речь. По сути, тот же принцип.
                  • 0
                    Не знаю как в России, но в Украине к Кабмину, Администрации президента и к Раде можно подойти настолько близко, чтобы заметить устройства на стеклах окон, гасящие колебания стекла от речи. Вернее не гасящие колебания, а «зашумливающие» собственными «громкими» колебаниями на сравнимых частотах.
          • 0
            Захотел переключить раскладку клавиатуры -> побежал распечатывать новый лист -> откалибровал -> набрал нужное слово -> повторил процесс чтобы переключится обратно…
            • +6
              Зачем? Cmd + пробел сработает в 64% случаев
              • +30
                Захотел переключить раскладку клавиатуры -> выключил ноутбук -> закрыл крышку и перевернул -> выкрутил четыре винтика -> перевернул, открыл крышку и снял клавиатуру -> поставил клавиатуру с нужной раскладкой -> перевернул ноут, закрутил винты -> включил ноутбук -> набрал нужное слово -> повторил процесс чтобы переключится обратно…
                • –34
                  че за бред. зачем ты заставляешь людей читать это
                  • +42
                    слабак
                    • +4
                      а я был заинтригован зачином и дочитал до конца!
                    • 0
                      Читал форум юзеров Toughbook, кто-то задал вопрос, как отключить тачскрин. Первыми советами было — разобрать девайс и отсоединить контроллер от материнки. Лишь в конце топика вспомнили про то, что оно вообще-то отключается в биосе.
                    • +2
                      Британцам язык переключать не приходится)))
                      Да и я для доступа к своим серверам был доволен бы и такой. Bluetooth как-то тухло выглядит по сравнению с этой, зато не нуждается в столе…
                      • +4
                        выпустят iMiniTable за 96,54$ сразу с нарисованными клавишами и удерживалкой для телефона)
                        • +2
                          Подпружиненной удерживалкой, чтобы вибрировало лучше.
                          • +6
                            Пружинка к удерживалке будет продаваться отдельно по $9.90
                            • +8
                              Но народные умельцы сделают такую же из жвачки, куска синей изоленты, нескольких карандашей из икеи и авторучки.
                        • +7
                          Всегда хотел знать, каково это — жить с одной раскладкой на клавиатуре )
                          • +1
                            *цитата*:
                               Я разговариваю только на двух языках — английском и английском матерном.

                            Пошёл искать вторую раскладку.
                            • +1
                              да, где-то читал что а америке вроде, вообще не понимают что там за проблемы с переключением раскладок…
                              • 0
                                В России и прочих странах вообще мало кто в курсе, какие танцы с «методами ввода» у китайцев с японцами. Так что представить можно.
                                • 0
                                  Кстати да. Я вот смотрел в iOS клавиатуру с иероглифами — так там иероглифы рисовать надо, а она варианты предлагает.
                          • 0
                            Было бы логичнее сделать интерфейс приложение в лэндскейпе, тогда не пришлось бы поворачивать голову на 90%, чтобы увидеть какую букву нужно стучать
                            • 0
                              Ну это же курсач! Вы когда-нибудь видели курсач, сделанный прямо-таки хорошо, со всеми деталями? :)
                            • 0
                              Выглядит довольно просто — классификатор с входными данными от акселерометра. Интересны подробности…
                              • +1
                                Я так понимаю, при смене поверхности нужна перекалибровка? Резко снижает мобильность системы: уже нельзя быстро разложиться на первом попавшемся подоконнике и начать работать.
                                • 0
                                  Ну, для мобильности можно использовать всплывающую клавиатуру на экране. А для более комфортной работы на более широкой клавиатуры неплохая идея.

                                  Боюсь, что 80% точности − это не слишком комфортно. Хотя, кто знает, может удастся повысить точность, используя разные типы бумаги. Например, подложить под лист порванные салфетки, что повысит различаемость. Ну, это я первое, что в голову пришло написал, может можно использовать другие, более эстетические приемлемые материалы.
                                • +4
                                  очень по-человечески: сначала убрать клавиатуру с телефона, чтобы потом написать программу, которая её эмулирует
                                  • +2
                                    На мой взгляд, задач реально недостижимая — будет слишком много ложных срабатываний, если только не бить по всем клавишам с практически одинаковой силой.
                                    • +3
                                      сосед постучал по столу пальцами — пол записной книги как не было)))
                                      • 0
                                        Сосед задумчиво постучал пальцами по столу и уже можно читать его мысли.
                                    • +12
                                      Проще взять афоню в руку и семафорить морскими сигналами. Там акселерометр не ошибется.
                                      • +6
                                        Олдскул какой-то.
                                        • +7
                                          Зачем семафорить? Азбука Морзе же!
                                          • +1
                                            Можно даже реализовать дистанционный набор азбукой морзе с помощью камеры телефона и фонарика!
                                            • +1
                                              Стучать телефоном по столу?
                                          • +2
                                            А что, если я откалибровал «клаву» на металлическом столе в аэропорту, после чего попробовал набрать текст на пластиковом столе в макдоке, а в доме бабушки вообще деревянный стол? Что если я откалибровал «клаву» дома в спокойной обстановке, а сейчас еду на поезде, где стол и без моих ударов вибрирует? Что если утром я калибровал «клаву», будучи в бодром настроении, ударяя часто и сильно, а вечером, сонный, едва касаюсь кнопок?

                                            Сильно сомневаюсь, что у данной подхода есть хоть какие-либо шансы выбиться за пределы рамок курсового проекта.
                                            • +2
                                              Если постоянно носить с собой дешёвую подложку под «клавиатуру» — скажем, кусок плотной резины или что-то в этом роде — то, в принципе, можно работать на разных поверхностях. Хотя проблемы отсеивания посторонней вибрации это не отменяет, конечно.
                                              • +2
                                                На самом деле уже сейчас можно найти кусок резины с готовыми клавишами и голубым зубом за разумные деньги. Я себе такую купил — её действительно можно свернуть в трубочку или сложить пополам. Впрочем не скажу, что набирать стало офигенно удобно — пожалуй чуть удобнее чем на экранной, и ошибок меньше (если класть её на твёрдую ровную поверхность), ну и тактильная отдача какая-никакая присутствует. Вполне возможно, пройдёт какое-то время и станет возможно просто положить на такой кусок резины свою отпечатанную раскладку, либо вообще её толщина вместе с электроникой сравняется с листом бумаги — и её можно будет просто пропустить через принтер (но канал передачи данных через вибрации надо, конечно, менять на Bluetooth или NFC, или что там ещё в будущем придумают)
                                                • 0
                                                  Подскажите, а что за модель резины, с сенезубом, которую можно сложить пополам? (если не секрет)
                                                  • +3
                                                    Не секрет, конечно. Это силиконовая клавиатура, которую я купил, будете смеяться — в магазине Чибо (это тот, который обычно кофе продаёт). Но дело в Германии происходило — не уверен, что именно её можно купить в России, но в яндексе куча результатов возвращается по запросу «силиконовая клавиатура» (хотя Яндекс Маркет результатами не радует). Отдал за неё что-то около двадцати евро.

                                                    Выглядит это чудо так:

                                                    image

                                                    Можно свернуть в рулончик:

                                                    image

                                                    Сама клавиатура лежит дома, поэтому фотки из интернета.
                                                    Я её обычно беру в командировки для небольших заметок — она, сложенная пополам, как раз влазит в один из карманов ноутбучной сумки. Совсем плоской она при этом, конечно, не становится — если пытаться сложить её вчетверо, то скорее всего китайское изделие этого не переживёт.

                                                    Вообще для, скажем, журналиста, я б не стал её советовать — на ней скорость набора ненамного выше, чем на экранной. Клавиши нажимаются безшумно. Поначалу при быстром наборе иногда буквы двоятся — так что к ней надо чуть привыкнуть. Сравнить с чем-либо сложно. Есть такие промышленные влагозащищённые клавиатуры — на них похоже, только клавиши помягче. Ну и в русской раскладке она работать на андроиде отказалась (возможно требуются пляски с бубном, но мне как-то без надобности). Для яблочной продукции тоже вроде подходит (впрочем её и к обычному компьютеру подключить можно, если в USB вставить Bluetooth свисток). Блока питания не требует, заряжается от USB (при этом USB только для зарядки используется). Отдельного обзора устройство вряд ли заслуживает (тем более что на российском рынке не присутствует), но если интересно — то могу написать.
                                                    • 0
                                                      Насчёт скорости ввода — выше всего она у меня была на Apple Newton.
                                                      • 0
                                                        Это который eMate с клавиатурой?
                                                      • 0
                                                        На китайских сайтах легко находятся.
                                                        • 0
                                                          В России уже море таких клавиатур — лично я такую в провинциальном компьютерном магазине видел своими глазами ))))
                                                      • 0
                                                        Коврики возвращаются?
                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                    • –12
                                                      Пи*да вам, пальцы е*аные!
                                                      простите)
                                                      • 0
                                                        Чего минусуете-то? Вы сначала представьте, как долго сможете такой клавиатурой пользоваться, и какие последствия будут от ее использования)
                                                        • +7
                                                          Не надо выражаться на Хабрахабре нецензурно.

                                                          В русской речи есть и другие способы выражения эмоций.
                                                      • 0
                                                        а вот про это я уже слышал на хабре. постараюсь найти сылку
                                                        • +2
                                                          Боюсь, при сколь-нибудь интенсивной работе на такой штуке в конце концов суставы пальцев разобьются в хлам. А реализация сама по себе красивая.
                                                          • 0
                                                            Более реально было бы сделать специальный чехол на айфон с двумя микрокамерами, работающими так же, как Kinect.
                                                            • +1
                                                              ИМХО с практической точки зрения бесполезно, хоть сама идея и разработка, как и любой труд, заслуживает уважения.
                                                              С точки зрения использования: отсутствие обратной связи сводит все на нет.
                                                              Хотя вполне возможно, что я не прав. Просто я попробовал постучать пальцами по столу, мне не нравится так набирать текст.
                                                              • +1
                                                                Ну, это ж то ли курсовая то ли диплом будущего британского учёного…
                                                              • 0
                                                                У меня была концептуальная идея «смотреть» штатной камерой девайса на такую напечатанную клаву и опознавать нажатия. Но знаний в этой области у меня недостаточно даже для заключения о реализуемости :)
                                                                • 0
                                                                  Я поначалу думал, что тут такое и показано, пока не вчитался…
                                                                • 0
                                                                  По мере развития сервисов голосового ввода, ценность клавиатуры как устройства ввода начнёт снижаться. Лет через десять клавиатуры и на десктопах станут анахронизмом.
                                                                  А у «бумажной» клавиатуры так и вовсе нет будущего, т.к. отсутствует «чувство клавиш». Т.е. она по сути не отличается от неудобной сенсорной клавиатуры, только ещё и точность распознавания низкая.
                                                                  • +4
                                                                    Я уже в красках представил себе как буду набирать голосом
                                                                    for x in f*; do cat x | grep blabla | cut -d , -f 3; fi

                                                                    У меня вот как раз проблема что не выпускают телефонов новых с нормальными железными клавиатурами.
                                                                    • –1
                                                                      А кто пишет на перле — повесится сразу.
                                                                      • 0
                                                                        Есть ещё любители эзотерических языков.
                                                                    • 0
                                                                      представляю как будет шумно у программистов в офисе
                                                                      • 0
                                                                        Скорее будет некое постоянное бормотание. И все в наушниках конечно.
                                                                      • 0
                                                                        Голосовой ввод уже лет… дцать обещают как замену всем интерфейсам ввода. Более того, лет… дцать он уже кое-как работает. Мне кажется тут есть некий психологический барьер, который надо преодолеть. Впрочем это, согласен, вопрос времени.
                                                                      • 0
                                                                        Теперь можно будет сделать беспроводную клавиатуру без батареек.
                                                                        Достаточно её расположить рядом с девайсом, калибровка и voilà…
                                                                        • 0
                                                                          Вообще, очень сомнительная штука. Колебания передаются через стол, поставил рядом чашку с чаем — перекалибровать придется? ИМХО встроенные акселерометры слабоваты для такого решения. Возможно, если сделают миниатюрный девайс с высокоточным акселерометром и работающий по Bluetooth, то результат будет получше, но сомневаюсь, что устройство получит широкое распространение, так же как и эта софтина — так, поиграть и забыть.
                                                                          • 0
                                                                            Насколько существенны будут вибрации и насколько чувствителен датчик? Для меня это как-то из области фантастики с применением обычного смартфона.
                                                                            • +1
                                                                              лет 15 назад я на спор кодил небольшую программу превращающую любую клавиатуру в «беспроводную» при помощи студийного микрофона включенного в Gravis UltraSound. предметом спора был какой-то шпионский фильм в котором на слух считывался пароль, вот и забили с товарищем, можно ли такое сделать в реальности. поскольку код был на чистом асме, а познаний в распознавании звука/речи на тот момент у меня не было, то вероятность попадания оставалась невысокой и требовала тщательной калибровки под конкретный экземпляр клавиатуры (лучше всего работала раздолбанная IBM PS/2), а также полной тишины в помещении. но тем не менее, спор был выигран и идея заброшена за ненадобностью — улучшить качество распознавания хотя бы до 80% не удавалось, а прикрепить набор правил и словарь мне тогда было лень. зато переделка под морзянку пригодилась знакомому радисту, который с удовольствием настукивал пальцем по столу и с наслаждением наблюдал текст на терминале.

                                                                              но сегодня, когда телефон на порядок мощнее моего десктопа тех времен, и технологии распознавания звука шагнули далеко вперед, подобный софт вполне реализуем под тот же iOS, например.
                                                                              • 0
                                                                                Не реализуем, ИМХО. Это за пределами возможностей всего аудио-тракта, скорее всего, не только софта — даже 80% очень маловероятно. Можно сколько угодно считать БПФы и корреляции, но если у N кнопок различие в звуке нажатия меньше разрешения АЦП, либо сжирается антиальязинговыми и прочими фильтрами тракта (плюс, разница в силе и скорости нажатия, плюс изменение АЧХ всего аудиотракта уже будет играть роль, при работе со столь слабо отличающимися сигналами) вы так и будете все эти N кнопок распознавать как одну.

                                                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.