Нордавинд
Компания
41,91
рейтинг
25 июня 2013 в 17:13

Дизайн → Компьютерное зрение позволяет увидеть пульс человека, даже если он носит маску

Год назад в лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института разработали технологию, которая позволяет измерить пульс человека по видео. Алгоритм усиливает мельчайшие изменения цвета лица, связанные с притоком и оттоком крови во время каждого удара сердца. Теперь учёные продвинулись гораздо дальше — новый алгоритм позволяет измерять пульс, даже если видео сильно зашумлено, человек стоит спиной к камере или носит маску.



Новая версия алгоритма усиления видео использует не изменения цвета, а микродвижения головы, вызванные толчками крови, движущейся по артериям. Мозг — один из главных «клиентов» системы кровообращения, и с каждым ударом пульса в него поступает достаточно крови, чтобы голова едва заметно раскачивалась — эти движения совершенно непроизвольны и хорошо различимы после усиления. Точность измерения пульса сравнима с электрокардиографом и даже позволяет диагностировать некоторые отклонения в работе сердца.



Интересно, что до появления электрокардиографии — современного «золотого стандарта» в диагностике заболеваний сердца, в медицине использовался метод под названием "баллистокардиография", тоже основанный на микродвижениях тела пациента. Характеристики пульса считывались с помощью приборов, напоминающих сейсмографы — колебания всего тела или его частей передавались специальной чувствительной платформе, а затем усиливались. Это видео иллюстрирует принцип работы баллистокардиографа:



Компьютерное зрение возрождает этот метод на совершенно новом уровне — теперь следить за пульсом человека можно вообще не прикасаясь к нему и не используя никакого специального оборудования. Это может оказаться очень полезным для самодиагностики, дистанционных врачебных консультаций и мониторинга состояния пациентов в больницах.

Статью с подробным описанием метода можно скачать по ссылке на странице проекта.

Автор: @Nordavind
Нордавинд
рейтинг 41,91
Компания прекратила активность на сайте

Комментарии (74)

  • +28
    Google glass + этот алгоритм (и еще парочку для определения расширения зрачков, потоотделения и т.п.) = бесконтактный детектор лжи
    • +2
      Идея хорошая, но, имхо, камера ГГ не позволит получить видео с нужным качеством. Кроме слабой оптики, камера сама находится на голове, которую трясет от пульса. Может и получится как-то компенсировать, а может и нет…
      • +1
        > камера сама находится на голове, которую трясет от пульса
        акселерометр+гироскоп+фильтр = мы знаем перемещения головы хозяина очков, корректируем видео соответственно
        • +9
          Вы математик, верно?
          Не все решения в математическом смысле являются решениями в программистском смысле.
          • +2
            Отслеживаются движения головы не в кадре, а относительно фона.
          • +1
            Подобная вещь давно используется в квадракоптерах, чтобы корректировать их положение относительно горизонта. Предложенный fleshy процесс — по сути, тоже самое.
            • +1
              Вы представляете какого рода колебания в коптерах и у человеческого тела под действием пульса? Конечно, можно положить ногу на ногу, положить на кончик стопы гироскоп и акселерометр и тогда может получится, т.к. колебания ноги в таком положении даже глазу заметны. Но у микромеханики, а только их можно будет тут использовать, такого уровня шумы, что прицепив датчик к голове вы скорее реликтовое излучение распознаете, чем пульс человека.

              С лазерами намного проще и дешевле. С компьютерным зрением тоже наверное дешевле, но может не проще с точки зрения программирования.
        • 0
          Использовать гироскопы нецелесообразно на мой взгляд.
      • 0
        Камера не нужна. Движения головы читать напрямую акселерометром (интересно, хватит ли точности).
    • +5
      В сериале «Континуум» полицейские в будущем постоянно это используют. Но у них чип прямо в мозг вшит, что избавляет необходимости носить различные устройства.
      • +4
        Ну так еще не вечер…
        Вот выйдет google brain, тогда и посмотрим… ))
        • 0
          Забавную штуку понял после вашего коммента. Люди теперь часто какие-то новые устройства связывают с именем корпораций, в речи теперь отражается как corporationRelatedName (device). Я пока заметил только Google и Apple. Сегодня только играл в Plague Inc, в очередной раз собирался стереть с лица Земли все человечество, а они взяли и разработали устройство под знакомым названием iCure, и я подозреваю, отчасти из-за него они таки справились с моей заразой. Все таки Гибсон как в воду глядел, корпорации становятся серьезными игроками, которые меняют человеческую культуру довольно глобально.

          А в паттерне называния corporationRelatedName (device) ничего удивительного нет, как мне кажется. Все таки большие корпорации, много всего разного делают, хочется сохранить свой бренд. Вот и называют своим именем. Некоторые, правда, придумывают что то по изощренней.

          Интересно, что с Intel, Samsungом не так. Или все так?
          • +1
            Ну так у самсунга на слуху только телефоны, которые по сути как браться близнецы. Без серьезного исследования хрен поймешь чем их 100500 моделей отличаются друг от друга.
            А у интела только процы, которые обывателю вообще ничего не говорят.
            Это не значит, что кроме телефонов и процов нет продукции, просто она не такая… как бы это сказать «WOW»… и ничего хотя бы сравнимого с гугл гласс, по пиар возможностям, даже близко нет…
            • 0
              Именно, я еще вижу Apple с их iPod, iPhone, iTunes — теперь много к чему придедывают приставку i. И да, кажется, дело именно в пиаре.
          • 0
            Простите, а есть эта игра на PC или винфонах? в гугле не нашел
            • 0
              Тоже захотелось уничтожить все человечество? Вообще, игра несколько даже пугает, когда смотришь, как последние 10 тысяч африканцев все таки умудряются получить вакцину, а Земля вся в руинах. Но боюсь, она только для андроида или для айфона. Могу предложить вариант, хотя не знаю, получится ли, поставить себе эмулятор андроида (у меня стоит от Android SDK), поставить интеловский HAXM и как-то игру установить на эмулятор, должно работать. Я ни разу не пробовал, но не вижу причин, почему не сработает. Вообще игра того стоит, как мне кажется.
            • 0
              Plague Inc ещё только качаю, но подозреваю, что похоже на www.kongregate.com/games/darkrealmstudios/pandemic-2, пойдёт для PC?
          • 0
            Всё как говорилось в Бойцовском клубе, только пока до планет и галактик вроде бы ещё не добрались.

            Оффтоп: там нужно прокачивать потливость и тогда покупатели будут жаловаться на экран iCure и устройство зафейлится :)
  • 0
    Классно, но эта система, вероятно, значительно менее устойчива к движению головы чем предыдущая версия с цветом?
    • +1
      Думаю, их вполне можно использовать совместно.
  • 0
    А есть ссылки на оригинальную статью с описанием алгоритма?
  • +2
    Я рад, что живу в это время. Есть все шансы увидеть еще много интересных «фантастических» разработок
    • +3
      Ага. А можно было родиться лет на 500 попозже и увидеть нашествие инопланетян ещё больше «фантастических» разработок. (:
      • +1
        Кто ж вам мешал…
      • +21
        А может уже и не родиться, в следствии «фантастических» разработок…
  • +3
    Когда читал описание первым делом подумал не о медицине, а о системах выявления преступников\террористов в аэропорту и дистанционном полиграфе.

    Например простой разговор с HR'ом при приеме на работу может анализироваться подобным образом. Или представьте, как здорово смотреть выступления политиков…
    • +3
      С политиками не пройдет, эти люди ниразу не волнуются, когда врут…
      Да и просто будет сложно понять, волнуется ли человек от лжи или просто от выступления на камеру\публику.
      • +2
        На политиков проканает.
        Никакая подготовка и самообладание не позволяет скрыть физиологическую реакцию.
        При наличии эталонных измерений поведения человека в разных настроениях и т.п.
        А также при правильно построенных вопросах — никуда они не денутся.

        Обход детекторов лжи работает иначе совсем, и большинству политиков оно будет недоступно.
        Самообладание да, тоже нужно, но нужно еще очень быстро и динамически отслеживать ситуацию и т.п.

        Простой пример, чтобы без NDA и чтобы всем понятно было:
        Есть такой «домашний» метод проверки на ложь — по глазам. Большинство людей делают это интуитивно, но есть и более формальные признаки:
        Методика базируется (да это НЛП, но ведь работает) на интересном эффекте — когда мы что-то ВСПОМИНАЕМ, то глаза двигаются в одном направлении, когда мы что-то ПРИДУМЫВАЕМ — в другом. Обычно если события описываемые испытуемым были на самом деле, то сложный уточняющий вопрос вызовет у него желание вспомнить детали. Если же событий не было, и он врет, то это вызовет у него желание _придумать_. Глаза выдадут его.

        Теперь давайте попробуем «взломать» эту методику:
        Зная на чем базируется тест мы можем фальсифицировать не сигналы, а состояние.
        Попытка управлять своими глазами будет провалена. Может любителя в домашних условия и проведешь,
        но профи тебя выведет в состояние когда ты не будешь себя контролировать.
        Так что только состояние.
        Как подменить свое состояние?
        Нужно сделать свою ложь такой, чтобы ее не нужно было бы выдумывать, а нужно было бы вспоминать.
        Обычная житейская мудрость предлагает нам тщательно продумать все мелочи, прежде чем врать.
        Но это нам скорее всего не поможет.
        Если нас уже в чем-то подозревают, то зададут нам такой вопрос, который мы заранее не продумали.
        Или еще хуже — мы что-то забудем, и запутаемся в деталях. В обоих случаях придется придумывать.
        Что тогда делать?
        Самый простой вариант это собирать легенду из кусочков, которые мы знаем.
        Например можно решить, что наша легенда это то, что было с нами на самом деле. Только пару лет назад.
        Или история которую мы читали, или рассказывал нам друг. Или даже одна из специально заученных заранее легенд.
        Если у нас нет подходящей легенды, то собираем ее из кусочков. К примеру решаем, что персонаж нашей истории похож на нашего кузена. Тогда мы описывая его внешность и характер будем _ВСПОМИНАТЬ_ кузена.

        Примерно аналогичными свойствами обладают и другие методики анализа на ложь и борьбы с ними.
        Общий принцип — не пытайтесь обманывать, давайте ему честные показания, но причины этих показаний могут быть совсем не те, что ожидает оппонент… Помню как-то играл с серьезным противником в покер. Я очень радовался (про себя конечно) если мне приходила плохая карта. А он не мог понять что происходит — он знает меня двадцать лет, и все мои сигналы читает лучше чем с бумаги…
        • +2
          на значимую для себя сумму играли? :)
          • 0
            Играть на значимую сумму это для меня странно, а если еще и с заведомо более сильным противником так вдвойне. Даже с подобным «тузом в рукаве».
            • 0
              Угу. Просто подозреваю, что проблемой такое поведение становится именно тогда, когда вы действительно сильно расстраиваетесь от плохой карты. Если игра «на спички», делать хорошую мину легко.

              Не оспариваю ваши посылки, но пример неудачный.
              • 0
                Психология игроков вообще отдельная тема.
                Пример именно что схемотичный.
                Есть такая техника… Ну скажем такой пример:
                Опытный дядя милиционер задает мне кучку вопросов. Отвечая на один из них, я на доли секунды дольше задумываюсь, чем над другими. Дядя милиционер справедливо предполагает, что здесь что-то не так. И повторно переспрашивает этот же вопрос. Естественно я испытываю облегчение, поскольку я понимаю почему он переспросил, так что мне нечего переживать, я знаю как он действует, и поэтому смогу его провести, и поэтому уже совершено спокойно отвечаю ему на вопрос.

                Подобное мышление требует определенной подготовки и тренировки. У меня это получилось почти без подготовки просто ввиду того, что вопрос был не очень важный для меня — если бы меня «раскрыли», то это для меня был бы просто вопрос потраченного часа времени, не более. Ну и в целом дядь милиционеров я давно уже не боюсь…
                Однако такое мышление в более серьезных ситуациях тоже не проблема для тренированного человека.
                Пожалуй дальше эту тему развивать не будем, если вы не возражаете…
        • 0
          Аркадий Аверченко. Ложь
          www.lib.ru/RUSSLIT/AWERCHENKO/false.txt_with-big-pictures.html
          • 0
            Именно. Очень похоже.
            Сам принцип хорошо показан, хоть и без учета невербалки :)
        • 0
          Есть еще трудность — отличить волнение от выступления, и волнение от лжи.
          Про движение глаз определенное в НЛП читал, но ни разу не видел какого-либо стоящего исследования, буду рад, если подкинете.
          Основываясь на моем понимании психологии, думаю, даже если подобного рода тенденции движения в определенном направлении и были бы, это было бы индивидуально все. То, как движение глаз связывается с модальностью и типом осмысливаемой информации, странно было бы, чтобы было бы какое-то правило, это все должно исторически складываться при развитии ребенка. Мне кажется движение глаз не главная фишка НЛП.
          • 0
            По НЛП читал классику лет десять назад. Во многих вещах я с данной теорией не согласен, но при критическом взгляде можно многое для себя вынести.
            Что касается глазных сигналов доступа и в частности описанного выше «детектора лжи», то не могу ни подтвердить ни полностью опровергнуть Вашу точку зрения. В свое время я запомнил из «детектора лжи» только то, что тут и описал — при воспоминании один сигнал, при придумывании — другой. А точнее — я никогда не запоминал. Так что когда мне нужно им пользоваться, я сначала осуществляю калибровку — тупо задаю человеку вопросы при которых он достоверно должен или вспоминать или придумывать, смотрю на движения глаз, а дальше уже нужные вопросы :) Оба сигнала действительно в той или иной степени идут вверх. Но вполне возможно, что в зависимости от индивидуальных особенностей они могут меняться местами. Типа как у левшей… не знаю :)

            Остальные техники тоже отлично работают, и я их тоже использую так же схематически. Т.е. без всяких тупых — дышать в такт и т.п. Может потому оно и работает, что без фанатизма, а лишь схемотично :) Не знаю.
          • 0
            У Майкла Гриндера, брата Джона Гриндера (одного из двух со-создателей НЛП) есть книги по применению техник на основе ключей глазного доступа в обучении школьников. У него же там и подробные исследования со статистикой по изменениям используемых модальностей при развитии ребенка.
        • 0
          При должной подготовке проканает.

          Вы правильно сказали про состояния. Обычно когда требуется манипулировать собеседником и привести его к нужному результату диалога, опытный манипулятор выбирает состояние комфортное к диалогу, и выходит из него после разговора. Во время разговора выбить из этого состояния опытного манипулятора крайне сложно, и то скорость его реабилитации к необходимому состоянию займет 1-2 секунды. Все что вы увидите это какую либо реакцию, с последующим возвращению к исходному состоянию и диалог будет вестись в такой же атмосфере в какой и начинался. Причем для изменения состояния не помогут даже физические воздействия, так как сразу после окончания воздействия человек снова будет готов манипулировать оппонентом.

          Могу лишь сказать в дополнение что опытным человеком обходиться в том числе и полиграф.
          • 0
            Должной подготовке кого?
            «Этих» не обучишь. Да и ради кого? Ради людей? Пипл схавает.
            Если бы они людей за людей держали, то и тестировать бы не надо было.
            • 0
              я про вообще…
      • 0
        Полгода назад читал статью как раз про подобный алгоритм отслеживания пульса во время дебатов Обамы и Ромни Fitbit Asks: Who “Won” Last Night’s Debate?
  • +1
    На сколько я понимаю, человек должен находится вплотную к камере. Иначе для обнаружения его микродвижений просто не хватит разрешающей способности камеры. Так же встает вопрос: как будут себя вести алгоритмы при нахождении в поле зрения камеры двух и более лиц. Лампы дневного света ощутимо мерцают — не помешает или это?
  • +1
    Диковина-то какая. У нас в бауманском уж несколько лет такая штука есть.
    www.rslab.ru/russian/project/brl/
    • +2
      При приеме на работу: а теперь проведем тестирование…

      image

      Я бы мокрым вышел после такого собеседования =)
      • +2
        Вам есть о чём врать потенциальному руководителю? -)
      • 0
        Небольшое короткометражное видео на тему: Детектор лжи.
    • 0
      Больше всего меня пугает там заголовок: «Средства для неразрушающего контроля». Что как бы намекает, что есть там и средства разрушающего контроля пульса человека…
    • 0
      Спасибо за ссылку. Там несколько другой метод, чем описан в топике (радар, а не камера), но проекты действительно впечатляют.
      • 0
        Камера — тот же радар, только длины волн много меньше. На 1,6 ГГц угловое разрешение маловато, в видимом спектре много мусора, а вот что получится в длинноволновом ИК — интересно.
        • 0
          Радар штука активная, а камера тут — пассивная.

          А камеры работающие с длинноволновым ИК стоят бешеных денег и имеют довольно низкое разрешение.
  • +1
    Парни, а на гитхаб еще реализацию алгоритма не слили?
    • +4
      Вам охота на супруге проверить, не врет ли она о реальной стоимости шубы?
      • +1
        О реальной стоимости шубы можно по выписке карты проверить, а вот как там дела у наших политических деятелей вот это интересно.
        • 0
          А что нового вы хотите узнать о деятелях? Все все и так знают. Ну или как минимум догадываются, но доказать не могут (с)
          • 0
            Лучше иметь прямые доказательства. По тембру голоса, движениям глаз, анализу речи и всем физиологическим характеристикам. Настало время это сделать, наконец.
            • 0
              Уже было. Статистические исследования выборов — куча аномалий, и ноль последствий.
        • +2
          Политик зачастую в верит в то, что говорит, даже если это полная чепуха. Думаете Гитлер сознательно врал, когда говорил про еврейский заговор? Да он в это неистово верил. И ни на каком детекторе лжи это не проявилось бы. С другой стороны, умный политик никогда не говорит всю правду.
  • 0
    Интересно, эта методика позволяет получать данные о пульсе только если человек неподвижно сидит перед камерой, или же даже если он активно разговаривает, жестикулирует и так далее?

    Собственно одна из основных задач современной фотоплетизмографии — это определение пульса (а лучше получение нормальной пульсовой волны) когда человек активно двигается (например бегает). Как только она будет окончательно решена, на рынке появится множество часов которые умеют постоянно измерять пульс (то есть не получать данные с пояса, и не измерять пульс когда вы прикладываете вторую руку к часам (как например вот эти часы: www.sportline.com/products/heart-rate-monitors/solo-915-heartrate-mens.html), а самостоятельно круглосуточно снимать данные с руки). Как это научатся делать, следующий шаг — измерение сатурации там же.

    PS. Предлагаю попробовать упрощенный вариант задачки топика. Берем, распечатываем bar-код на листок бумаги. Листок бумаги берем в руку и держим перед камерой. Сам бар-код распознается элементарно. Руку удары сердца также качают. Следовательно по движению листка с бар-кодом мы сможем измерить пульс.
    • 0
      Нет, конечно, там же обычный спектральный анализ, а характерные частоты низкие, меньше герца.

      Примитивнейшее решение для движения, которое я видел — на мочку уха микрофон повесить. На блютус-гарнитуру вешаем такой элемент и все. Второе решение, покруче — емкостные бесконтактные электроды для ЭКГ.
      • +1
        Примитивнейшее решение для движения, которое я видел — на мочку уха микрофон повесить. На блютус-гарнитуру вешаем такой элемент и все. Второе решение, покруче — емкостные бесконтактные электроды для ЭКГ.

        Гм. Я не уверен на счет микрофона. Собственно у нас решение на базе фотоплетизмографа, и тоже на мочку уха. При движениях (скажем ударных нагрузках, тот же бег) там довольно крупные motion artefacts, которые просто через прямые частотные методы не фильтруются, ибо имеют те же частоты что и пульс, и возникают также регулярно как и удары сердца.

        ЭКГ, сколь я помню, требует два контакта на разные половинки тела. Точки измерения на мочке одного уха не достаточно. Собственно на базе ЭКГ работают все пояса (вешаются на грудь, там два электрода), и это сейчас самый надежный метод для измерения пульса на бегу. Но это не всегда удобно. Тем более что та же фотоплетизмограмма позволяет не только пульс вытащить из данных, но еще дыхание, изменение артериального давления, и так далее. Там много интересного :-)
    • 0
      В статью с описанием алгоритма не вчитывался. Но судя по беглому её осмотру: там алгоритм отталкивается от фич, которые детектятся на лице «поциента», и в каждом кадре соответственно происходит трекинг этих фич, поэтому, вероятно, есть инвариантность(в некоторых пределах разумеется) относительно движений человека в кадре.
    • 0
      Да, методика только для неподвижного человека, поэтому всегда будет довольно высокая погрешность, т.к. человек может не произвольно шевельнуться, мимика и т.п.
      Ну и точность напрямую зависит от разрешения камеры и расстояния до объекта.
  • 0
    Так вроде у Microsoft в новом кинекте реализован показ пульса. Причем на расстоянии около 3м же. И сразу у нескольких людей
    • +2
      В видео говорится, что в Kinect анализируется изменение цвета кожи, а тут движения.
      • +4
        Вот если их объединить, то результат будет отличный
    • 0
      в видео только говорится, но наглядно работу не видно — всю запись число пульса статично и не меняется никак, хотя человек двигается, говорит, меняется, в общем
      наверняка это плейсхолдер просто
  • +3
    Знакомый работает в одной фирме, они по контракту с армией делают прибор, который определяет на большом расстоянии (километры), прячется ли за деревом человек.
    Лазером измеряются сигналы с коры дерева, и если они совпадают с частотой пульса человека, то target detected
    • +10
      «You're doing it wrong»

      image
  • 0
    При этом методе нужно стараться не двигаться?
  • +1
    Так… Кажется, с этого момента я становлюсь неолуддитом.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Дизайн