На неделе продолжил работу над компьютерным моделированием eye traking: оптимизировал алгоритм, теперь картинку 1350x768 на ноуте vaio tz он обрабатывает не за 8 минут, как раньше, а за 2. Есть ещё пара идей, как ускорить работу. Цель: обработка картинки секунд за 30.

Ну и видео выделения точек фиксации после сакад:

Готовлю сервис, моделирующий eye tracking по изображению. Ради любопытства: пример нормализации картинки под фовеальное зрение человека:



Чем светлее участок, тем сильнее он воспринимается зрением. Модель — trichromacy (полноценное цветовое зрение). Подсветка участков — логарифмическая.

Ну и модель по данному нормализованному представлению:



Основные участки показаны верно (по тестам), но модель завалена в левый угол: где-то ошибка алгоритма. Будем исправлять)

UPD
После сериии публикаций про моделирование eye-traking у меня есть 8 мишеней с реальными тепловыми картами с тоби реадера, на которых я тестирую свои алгоритмы. Если честно, то мне их нехватает. Если есть возможность провести исследования по этому вопросу — буду рад.

Что такое сила цветовосприятия?

Поговорим о силе восприятия цвета. В предыдущих постах я уже рассказывал, что некоторые цветовые тона воспринимаются сознанием как более сильные, яркие, чем другие.

Технически это связано с силой сигнала, поступающего в мозг от S, M и L колбочек: тона, близкие к жёлтому воспринимаются одновременно S и M рецепторами, а тона, близкие к красно-фиолетовому (маженте) – M и L.
Cамым ярким тоном по восприятию является красно-оранжевый, чуть менее яркими воспринимаются жёлто-зелёные и красно-фиолетовые тона. Явными аутсайдерами являются синие и лазурные тона: они по интенсивности в 3,5 и 5 раз слабее, чем самый яркий тон.

Если уж делать алгоритм распределения внимания по изображению, то делать нужно по уму, а значит, жизненно важно становится определять «силу цвета».

Цветовосприятие

Ощущение цвета зависит от сигнала, поступающего в мозг от S, M и L колбочек. Вместе с тем, некоторые цвета, определяемые человеком, ощущают сразу несколько видов колбочек и именно из-за этого некоторые цвета кажутся ярче, чем другие, одинаковые по тону и насыщенности.


^{сone-response}

Интересно, а как выглядели бы цвета, если сила восприятия их была бы одинакова с насыщенностью? Отвечая на этот вопрос, я написал программку, иллюстрирующую взаимоотношения цвета и восприятия. И вот результаты её работы:

Цветовая мишень: оригинал, пост-процессинг.
Другая цветовая мишень: оригинал, пост-процессинг.

Но приведённые изображения показывают результат только для полного цветового зрения. Интересно, а как смотрят на мир дальтоники?

Дальтонизм

А дальтоники бывают разные: дальтонизм возникает в основном из-за нехватки колбочек определённого типа. В случае нехватки колбочек двух типов, цвета вообще не различаются, мир выглядит монохроматическим, как на чёрно-белой фотографии. А вот в случае дефицита колбочек одного из типов S, M или L возникает ситуация неразличимости некоторых цветов.

Попробуем-ка промоделировать, основываясь на данных цветочувствительности колбочек, восприятие дальтоников!

Честно признаюсь, данные модели не калиброваны. В идеале, дальтоник не должен ощущать существенной разницы между оригиналом и результатом моделирования. Но ради того, чтобы представить, как – любопытно же? :)

На картинках – изображения после нормализации силы восприятия цвета. Мишени и скриншоты — мои, а фотографии взяты с сайтов отсюда, отсюда и отсюда.

Оригиналы:

По многочисленным просьбам, связанным с предыдущим постом на тему того, как глаза воспринимают картинку, решил попытаться рассказать о том, как можно производить моделирование технологии eye tracking. За одним получился довольно крупный текст о зрении и восприятии плоских изображений, который я разбил на 6 частей.

Моделирование зрения

Часть первая. Экскурсия в глаз
Чтобы понять то, как человек воспринимает изображение, начать придётся с органа зрения – с глаза. Важным для дальнейшего понимания моментом помимо анатомического строения глаза является ограничения разрешающей способности глаза, которые я тут и опишу. Если это всё вам известно – то можно только бегло просмотреть выделенные куски текста и сразу переходить ко второй части.

Часть вторая. Восприятие
В этом посте рассказывается об некоторых особенностях восприятия человека происходящих ещё на уровне сетчатки глаза (до анализа картинки в мозгу). Полужирным выделены моменты непосредственно связанные с темой моделирования.

Часть третья. Геометрия зрения
Эта часть важна для понимания принципов моделирования eye tracking, а за одним рассказывается кое-какие интересные вещи про угол и чёткость зрения.

Часть четвёртая. Eye tracking
Эта часть рассказывает о том, что такое, собственно, eye tracking, и какие психологические и биологические механизмы лежат за этим определением.

Часть пятая. Как поймать взгляд
Продолжая рассказ, начатый в четвёртой части о саккадах и их моделировании необходимо рассказать о таких феноменах, как ловушки для взгляда и зоны неразличимости. Так же тут рассказывается немножко о том, как привлечь внимание или наоборот отвлечь от каких-оо регионов картинки.

Часть шестая. Моделирование eye tracking
Рассказ непосредственно о принципах и алгоритмах моделирования eye tracking.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

Шестая часть, заключительная. Рассказ непосредственно о принципах моделирования eye tracking, а так же как это может быть применимо к реальной жизни. В этой части, наконец-то, пригодятся цифры и принципы, освещённые в третьем, четвёртом и пятом постах.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

Продолжая рассказ, начатый в четвёртой части о саккадах и их моделировании необходимо рассказать о таких феноменах, как ловушки для взгляда и зоны неразличимости.

^{1 Экскурсия в глаз — 2 Восприятие — 3 Геометрия зрения — 4 Eye tracking — 5 Как поймать взгляд — 6 Моделирование eye tracking}

Пост о природе того, что, собственно, моделируется, зачем вообще нужен этот eye tracking и т.д. Если непонятны какие-то термины, то обратите внимание на третий пост про геометрию зрения.