Пользователь
30,2
рейтинг
16 февраля 2012 в 22:33

Разработка → Программа Remove убирает лишних людей с фотографии



Малоизвестная компания Scalado разработала поистине уникальную программу для смартфонов. Программа называется Remove и делает простую вещь — убирает с фотографии лишних людей.



Как это получается? Очень просто: вместо одного кадра делается 10 кадров подряд с промежутком 0,5-1 секунды (в зависимости от возможностей аппаратного обеспечения), которые сливаются в единую фотографию. Стабильные объекты (пикселы) остаются на месте, нестабильные (движущиеся) — просто удаляются. Таким образом, все проходящие мимо люди и вообще любые движущиеся объекты просто исчезают с фотографии.

Презентация программы Remove состоится на Всемирном мобильном конгрессе в Барселоне через несколько дней. Скажем только, что программа может станет настоящим хитом, если будет работать так, как на видеоролике.



Наверняка, через пару лет аналогичная функция появится во всех новых цифровых камерах. Добавим также, что в фотоаппаратах она будет работать гораздо лучше, потому что там можно снимать 10-15 полноразмерных кадров в секунду, а не 1-2 кадра, как в смартфоне.

Кстати, на сайте указан список патентов, которые получила компания Scalado, и среди них есть российский патент.
Анатолий Ализар @alizar
карма
749,5
рейтинг 30,2
Пользователь
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разработка

Комментарии (144)

  • +54
    Я джва года ждал такую программу.
    • +25
      Я всю жизнь ждал такую программу.
      • +19
        Я всегда так фотографировал пейзажи, но не подумал, что из этого выйдет отличное приложение. В очередной раз убеждаюсь, что самые хитовые идеи есть в голове у каждого из нас, просто они настолько просты, что мы не берём их в расчёт, не обращаем на них внимания, а потом сидим и думаем, почему это сделал не я.
      • –1
        Я никогда не ждал такую программу.
        Если бы она мне была нужна, её написала бы не фирма Scalado, а я.
        OpenCV есть и на андроиде, и, кажется, даже на айфоне.
        С его использованием написать такую программу плёвое дело.
        • 0
          *её
    • –1
      +1
    • 0
      Зачем ждать? Есть фотошоп, штатив и несколько (обычно 3) кадров подряд, 2 слоя и просто удаляешь ненужные части. На одной улыбнулся, на второй глаза открытые, в результате и улыбается и глаза открытые. Преимущество в скорости, конечно.

      И всё равно круто!
      • 0
        "… фотошоп, штатив и несколько (обычно 3) кадров подряд, 2 слоя и просто удаляешь ненужные части..." речь ведь о приложении для смартфона. Единицы будут возиться со штативами, фотошопами и слоями. Для обывателя (на которого в первую очередь и рассчитан продукт) все эти слова — жуткое вуду.
        Среднестатистическому пользователю (туристу, например) нужно, чтобы вытащил девайс из кармана — нажал пару кнопочек — вуаля, клёвая фоточка для соц. сети готова. Сразу, на месте, быстро и просто — без штативов, фотошопов и слоёв.
      • 0
        в фотошопе есть специальный инструмент для работы с разностью нескольких снимков.
  • +4
    Гениально!)

    Правда интересно как быть, если, например, на фото много движущихся людей, которые постоянно закрывают часть фона, как эти участки будут восстанавливаться?
    • +56
      Фигово.
      • +23
        Моргнул — вышел на фото без глаз, так как программа убрала движущиеся пиксели :)

        А на фото, кстати, город Malmö и вот эти музыканты:

        • +12
          А я сначала было подумал, что программа людей превращает в скрюченных карликов — изначально непонятно, что это музыканты. И только потом убирает их совсем или не убирает, кому могут помешать скрюченные карлики?).
          • +2
            Я тоже первым делом подумал, что программа как-то меняет людей, превращая их в карликов, а не убирая с фотографии.
        • 0
          Отнюдь, скорее всего на 9 кадрах из 10 будет открытый глаз и допустим на одном закрытый, тогда результатом будет открытый глаз. Эффективно против любителей заснуть на фотографии :)
        • +3
          Так на видео же видно, что после съемки пользователь сам тыкает пальцем в объекты, которые не желает видеть. Не тыкайте в глаз и он не исчезнет.
          • 0
            "Не тыкайте в глаз и он не исчезнет" звучит как нечто среднее между «По газонам не ходить!» и «Мойте руки перед едой.»
    • 0
      вероятнее всего либо до либо после момента фотографирования идёт видеозапись, скажем 10 кадров в секунду. Статические предметы (фон) не изменяются, а алгоритмы ИИ позволяют правильно вставить эти куски в будущую фото без людей
      • +4
        Так время съёмки может затянуться, вся улыбка с лица фотографируемого сползёт)
        • НЛО прилетело и опубликовало эту надпись здесь
          • +1
            Если посмотреть на сайте разработчика, то можно найти программу, которая позволяет отматывать снятое изображение на хороший кадр. Посмотрите повнимательнее :)
        • 0
          Я так понимаю, что для финальной фото используются данные, полученные непосредственно при нажатии на клавишу. А всё остальное — только для вычленения лишних персон. Так что не сползет.
        • 0
          нет, не сползёт. Алгоритм иной

        • 0
          на видео, рука снимающего сильно дрожит, но ничего не смазалось.
          • 0
            Ну и видео всё-таки рекламное:)
          • НЛО прилетело и опубликовало эту надпись здесь
      • 0
        В том-то и дело, что программа ведь обрабатывает не реальные объекты, а двумерный массив пикселей, а при наличии обильного движения будут меняться и пиксели, соответствующие фону. Другое дело, что фон время от времени восстанавливается в отличие от проходящих людей. В любом случае, не все так просто.
      • 0
        10 кадров в секунду мне кажется много. Люди не уходят из кадра за 1/10 секунды, да даже за секунду часто не уходят.
    • 0
      Не все конечно же получится удалить качественно, но там, по-крайней мере на ролике, можно выбирать что удалять, что нет, и, например, проблемных шевелящихся людей на одной точке не трогать.
  • +93
    Спящих бомжей значит убрать не получится :(
    • +17
      Надо фонариком на них посветить, они начнут шевелиться )
      • 0
        Можно помигать на них фонариком — они станут «активными объектами»
        • +2
          фонарика нет — позвени монетками
    • +28
      Улыбнуло как на 2 фотографии сверху убрали из кадра дюжину сидящих на месте людей.
      image
      • +12
        как как… в фотошопе
      • 0
        а мне кажется что их добавили на фоновом изображении
    • +2
      а с какой целью надо фотографировться на фоне спящих бомжей?
      • +3
        … если не с целью получить в кадре бомжей?
      • 0
        с целью фотографировать не людей, а прочее…
  • +12
    Справедливости ради tourist remover-ы вещь далеко не новая, есть и отдельные проги и плагины к редакторам и сервисы, и даже штатными средствами фотошопа в общем это делается.
    Но само по себе запихивание это в смартфон, это крайне разумная идея и неплохое достижение.
  • +1
    А животных можно убирать будет? ))
    • 0
      По идее да, говорится же о любых движущихся объектах. Правда я сомневаюсь, что программа так чётко сможет отделять друг от друга разных людей, как это показано на видео…
      • 0
        Так она их четко и не отделяет. Слева и справа по 1 человеку было, и они двигались. В середине попала группа из 3 людей движущаяся — была снесена 1 кликом вся вместе.
        • 0
          Вот об этом я и говорю, тогда любые движения камеры или фотографируемого человека неверно воспримутся программой.

          Будет забавно, если вместе с окружающими людьми удалится и тот, кого фотографируют:)
          • 0
            Дак, вроде принцип более прост — написано, что камера делает 10 быстрых снимков и сверяет все пиксели что сдвинулись. То есть тупо вычищает динамику. Сильно колыхающиеся веточки деревьев тоже могут попасть под стирку.
          • +1
            Забавнее будет удалять не всего человека, а его часть — руку, ногу, ухо ))
  • +14
    Штатив в комплекте идет?
    • +18
      Придется таки качать бицуху.
    • 0
      В таких схемах используется auto-align, электронный стаб некоторым образом так сказать. Фотки сначала выравниваются, потом склеиваются.
      • +2
        10 фотографий с трясущейся руки наложенных друг на друга?)
        • +6
          Изначально Вы спрашивали «будет ли штатив», а не «придется ли снимать трезвым»:)
          Обычные смазы (безштативные) auto-align-ну не помешают никак. Тем более оптического зума у смартов вроде бы нет пока, т.е. это всяко не длиннофокусные проблемы.
          Возможно несколько уменьшится четкость тех мест, которые идут не с основного кадра, как раз из-за легкой разницы в общей картине кадров, но это вряд ли будет критичным, тем более что реальное разрешение смартов пока до цифрозеркалок не дотягивает.
          • 0
            Ну, подразумевалось, что штатиф для того и нужен — чтобы не было проблем с движением руки фотографа :)
            • НЛО прилетело и опубликовало эту надпись здесь
  • –8
    ЭТО ТОЛЬКО СЕЙЧАС ПОЯВИЛОСЬ!??

    Человечество тупит.
    • 0
      Обычная медианная фильтрация. Просто немного усложненная (все-таки, объект фотографирования должен быть взят лишь с одной фотографии — а ее как-то надо выбрать автоматически, хотя в этом тоже проблем особых нет).
    • +2
      Это только сейчас появилось прямо на телефонах, о чем выше и пишут.
      • 0
        В том то и удивительно что только сейчас.
  • 0
    Казалось бы, как просто…
    • НЛО прилетело и опубликовало эту надпись здесь
  • +26
    Старая же идея, и простая. Надо же, какие-то уроды и её запатентовали.
    • 0
      Зачем же сразу уроды? Да, Apple и Ko опошлили институт патентования, но не стоит после этого накидываться на всех. Если бы они не запатентовали, за них бы это сделали другие. И смею предположить, что запатентовали они не идею, а технологию, по которой эта идея реализуется.
    • +5
      Вообще то в российском патенте запатентован только способ работы с элементами сжатого изображения JPEG без их декомпрессии.
      Так что желающие составить конкуренцию в РФ еще имеют шансы
  • 0
    На меня гораздо большее впечатление произвел liquid rescale, особенно в части удаления лишних объектов в т.ч. и людей
  • +1
    Долго они работали над ним. Сам патент — bd.patent.su/2368000-2368999/pat/servl/servlet5915.html
    • +2
      Судя по краткому описанию он относится к сжатию данных. Ничего не увидел об удалении лишнего с изображения.
      • 0
        там везде JPEG фигурирует, то есть, теоретически с другими форматами можно повторять?
    • +1
      Посмотрел:
      image
      Задумался....)
      • 0
        Пару раз видел такое раньше. Наверное, некоторых очень прет калькировать английское «fig.» на русский.
        • 0
          Фигура. Причем здесь калька с другого языка? Тогда уж, с латинского. ;)
          • +1
            Среди значений слова «фигура», конечно, имеется «рисунок», но оно настолько редко употребимо именно в этом смысле, что об этом говорить просто несерьезно.

            Слово, конечно, латинского происхождения, но сейчас уже редко где встретишь книгу на этом языке, поэтому мне кажется более уместным полагать, что это калька все-таки с английских книг (в том плане, что отношение «калька с...» не является транзитивным в отличие от «происходит от...»).
  • 0
    Снять кого-то в прыжке больше не получится. Он исчезнет.
    • +3
      Если обработать вручную, то не исчезнет.
      Алгоритм прост: снимаем как можно больше фотографий + нашего прыгуна.
      Затем выравниваем фотографии по каким-нибудь базовым неподвижным фоновым объектам (или не выравниваем даже, если снимали со штатива с пультом или тросиком).
      Затем получаем фон (медианное усреднение выровненных изображений). Если у нас менялись в течение съемок условия освещения, придется, конечно, еще и светокоррекцию сделать.
      Затем вычитаем фон из (выровненного на фон) фото нашего прыгуна и производим пороговую бинаризацию. Сглаживаем и получаем положения всех объектов, не принадлежащих к фону.
      Затем выделяем прыгуна и отделяем все лишние объекты. Накладываем прыгуна на фон — вуаля!
  • +8
    А я только людей на приятельских снимках рассматриваю. Мне уже безразлична неподвижная протоплазма.
  • НЛО прилетело и опубликовало эту надпись здесь
    • НЛО прилетело и опубликовало эту надпись здесь
      • +10
        Вот после такого поста точно заминусуют.
        • НЛО прилетело и опубликовало эту надпись здесь
          • +8
            Если бы за большой минус в карме давался Read Only — я бы тебя минусанул.
            • +4
              А я так минусанул, не люблю мат, особенно на хабре. Это не разрыв шаблона, это обычное хамство. Хоть это и не переведёт его в readonly, но заминусованные посты выбелит, надеюсь до цвета фона.
              • +6
                Ладно бы ещё мат в тему — иногда бывает смешно, а тут какое-то школьничество. 1990 г.р. — должен бы уже научиться и думать, и правильно ругаться
          • +14
            Я минусанул и что?
            • +12
              Он пробьет тебя по IP, у него дядя в ФСБ работает!!! Он с тобой знаешь что сделает???
              • +7
                ATM (19:05:04 9/03/2010)
                Я ТЯ НАЙДУ СЦУКА

                ATM (19:05:10 9/03/2010)
                АЙПИ ВЫЧЕСЛЮ ГОВНО ТЫ

                shot (19:05:28 9/03/2010)
                89.178.90.125

                ATM (19:05:38 9/03/2010)
                У МЕНЯ ПРОГА СЛОМАЛАСЬ, НО Я ПТОМ ИТЯ НАЙДУ

                shot (19:05:54 9/03/2010)
                братиславская 14, 38

                ATM (19:06:14 9/03/2010)
                У МЕНЯ МАШИНПА НЕ РАБОТАЕТ, САМ ПРИЕЗЖАЙ КУСОК ГОВНА, ХЕР Я К ТЕ ПОЕДУ

                ATM (19:06:43 9/03/2010)
                ЧЁ ЗАССАЛ ПРИЕХАТЬ? ГОВНО ТЫ, Я ТАК И ЗНАЛ

                shot (19:06:57 9/03/2010)
                давай адрес

                ATM (19:07:03 9/03/2010)
                ИДИ НАХУЙ Я ЩА НЕ ДОМА

                shot (19:07:10 9/03/2010)
                а где?

                ATM (19:07:15 9/03/2010)
                В ГОСТЯХ, НАС ТУТ 8 ЧЕЛОВЕК! ПРИЕЗЖАЙ БЛЯ

                shot (19:07:25 9/03/2010)
                давай адрес

                ATM (19:07:29 9/03/2010)
                БЛЯДЬ МЫ УЕЗЖАЕМ

                shot (19:07:36 9/03/2010)
                куда?

                ATM (19:07:49 9/03/2010)
                (пользователь добавил вас в игнор-лист)
              • 0
                Tor рулит
          • 0
            Я бы минусанул, будь возможность. Говорю открыто.
          • 0
            Я минусанул 3 раза
            • 0
              В карму.
            • +13
              Администрация, обратите внимание на потенциального ботовода )
          • +1
            Не минусовал карму. Солью после вашего ресета. ;)
          • 0
            И так всем понятно за что минусы, так еще и каждому отписываться? Судя по карме — не достойны
      • НЛО прилетело и опубликовало эту надпись здесь
        • +17
          Жырнее! Веселее!
      • +1
        как часто пишут:
        я просто оставлю это здесь :-)
        небыдло
    • +9
      Я вам скажу хомяки — это очень выгодные зверьки. При правильном подходе, они могут озолотить своего хозяина
  • 0
    А как же облака? Они двигаются вроде
    • 0
      Здесь два варианта: либо оставить все небо с основного снимка, либо усреднять и облака.
    • +1
      за 1-2 секунды (10 кадров) облака сильно не сдвинутся, укладывается в погрешность (движение волос и одежды снимаемого объекта тоже ведь надо как-то учитывать).
    • 0
      Облака и тени от них, движущаяся трава, качающиеся деревья, вода.
      Даже придумал забавный тест — снять, как человек машет рукой. Сам он на месте, а рука на каждом кадре будет в новом месте, т.е. динамический объект. Получится ли человек без руки?
  • +2
    Есть вариант проще — убить всех лишних людей вокруг.
    • +21
      Сходите интерьеры госдумы пофотографировать, что ли :)
  • +2
    Только мне это напомнило back to future?
  • +9
    Программа Remove убивает лишних людей с фотографии (да я же шутник!)
  • +1
    Убрать всех людей.
    • +18
      4 марта эту программу будут юзать на участках.
  • +6
    Скажите, а это и стенку так приподнять можно? :)
    • 0
      В магазине.
  • +2
    Отечественные жулики радостно потирают руки. Такую идею им подкинули! Теперь, к рекламе смс-шпионов на муз-тв прибавится еще реклама программы по удалению ЛИШНИХ людей с фотографии. Естественно, это будет фейк. Но отличный повод срубить бабла на доверчивых соотечественниках!
    • 0
      Тьфу, блин, по первым предложениям подумал, что вы имеете в виду депутатов из комментов выше.
  • 0
    классная идея, учитывая что для смартфонов.
    однако это можно провернуть даже лишь с одним снимком при помощи Photoshop CS5 Extended: Выполнить заливку -> С учетом содержимого
    • 0
      В отличие от фотошопа фон будет реальным, а не сгенерированным.
  • 0
    А как же быстродвижущиеся облака? А съемка на длинных выдержках? Съемка проводкой?
    • +2
      а в смартфонах 99% это не нужно
      • 0
        Зато съёмка волн на воде явно понадобится, а она ничуть не проще.
  • +4
    Лучше бы научили смартфон снимать с людей одежду на фото/видео!
    • +5
      Так ведь это уже давно есть, отправляйте смс и скачивайте! ;)
      • 0
        Обманывают, нехорошие. Надо чтобы всё по-честному было!
        • 0
          скачивали?
        • +1
          На старых соньках с ночным режимом ИК подсветка была такой силы, что неплохо просвечивала тонкую одежду
  • +1
    Наверняка, через пару лет аналогичная функция появится во всех новых цифровых камерах.
    Учитывая что она уже есть в некоторых фотоаппаратах (Fujifilm FinePix HS10, 2х летней давности, причем способ работы аналогичен), то с популяризацией технологии она будет чаще появляться в новых моделях.
  • –1
    Где скачать?
    • –1
      Без смс и регистрации?
  • 0
    Т.е. я всю жизнь в путешествиях со штатива снимал несколько кадров что бы замочить прохожих, потом затирал их в фотошопе, а теперь это запатентовано? да вы че ?!!!
  • 0
    То есть, если при съемке у тебя зачешется за ухом, то в итоге ты останешься без руки?
    • 0
      Программа находит и выделяет шевелящиеся области. Что удалять, а что оставить, решает сам пользователь.
  • 0
    На длинной длинной выдержке с зажатой в минимум диафрагме и с минимальным ISO можно получить сходнй эффект. Правда одному человеку стоять придется долго и неподвижно. Секунд 10, не меньше. Да и то не факт, что не размажет. А вот пейзажи фоткать можно на раз.
    • 0
      Когда фотоаппараты были большие и деревянные, а выдержки по полчаса, по-другому и не снимали. Соответственно, всегда получались пейзажи без людей.
      Первая фотография человека была сделана, когда некий господин остановился почистить обувь и просидел неподвижно какое-то время.
  • 0
    Кстати, на первой фотке — улочка около главной площади Шведского города Мальмё, где еще есть красивый небоскреб Turning Torso
    • +1
      Да, надо читать комменты сначала :)
  • 0
    А все читал-читал — как убирает, понятно. Но как вычисляет лишних?.. ))
    • 0
      Назначает.
      • 0
        И наказывает невиновных.
    • 0
      Посмотрите видео. Программка выделяет области которые двигались во время съемки и предлагает их удалить кликнув на них.
  • +5
    image

    image
  • 0
    Лучше использовать штатив.
  • +1
    Я один вспомнил это объявление?..
    image
  • 0
    При съемке в ветреную погоду будет каша…
  • 0
    Добавим также, что в фотоаппаратах она будет работать гораздо лучше, потому что там можно снимать 10-15 полноразмерных кадров в секунду, а не 1-2 кадра, как в смартфоне.

    Угу, как и 9 беременных мам вместе родят ребенка за месяц ;)
  • 0
    виндовая програмуля zoner
    • 0
      там даже можно обратное делать — функция «Умножить объекты»
    • 0
      Спасибо, отличная программа.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.