На чёрную пятницу, то есть завтра, компания Verizon собирается арендовать два огромных экрана Таймс-Сквер на 20 часов подряд для настоящего киберпанковского эксперимента (и рекламы телефонов Droid). В эксперименте принимает участие Google.

Завтра каждый проходящий по центральной площади Нью-Йорка может набрать номер 888-376-4336 и произнести вслух поисковый запрос, а результаты поиска мгновенно появятся на двух больших экранах, висящих на Таймс-Сквер. Например, если произнести слово «пицца», то экран покажет карту Google Maps с указанием ближайших пиццерий. Система работает через API распознавания речи, которые доступны для всех разработчиков под платформой Android.

До включения экранов осталось 24 часа. Остаётся надеяться, что в Google установлены хорошие фильтры XXX-контента.

На страничке перспективных разработок Google Labs появился новый проект: GAudi (Google Audio Indexing). Это технология распознавания и индексирования англоязычной речи, которая извлекается из мультимедийных файлов, в том числе из видео.

Последнюю разработку Google де-факто начали тестировать два месяца назад на небольшом количестве видеороликов с портала YouTube: см. новость «На YouTube появился полнотекстовый поиск по видео». Но это был своеобразный «чёрный ящик»: мы просто могли посмотреть, как работает новая фича, но не знали, что реально за ней стоит. Теперь же опубликован отдельный интерфейс для поиска по видеороликам (в этот индекс в будущем можно подгрузить любой видеоконтент из интернета), а также FAQ с информацией.

Из FAQ’а мы узнали, что движок распознавания речи создан с нуля специальной рабочей группой из сотрудников Google. Хотя в этой области идут изыскания уже десятки лет силами множества компаний, но GAudi — это полностью самостоятельная разработка Google.

В данный момент поддерживается только английский язык и система, конечно же, делает много ошибок. Например, в этом видеоролике слово «Czechoslovakia» неправильно распознано как «tech also but there», а слово «free» распознано как «forty», и подобных ошибок довольно много.

Анонсированная в июне, на YouTube всё-таки появилась функция полнотекстового поиска по видеороликам. Видеоматериал публикуется вместе со специальным слоем метаданных, в котором и находится сопроводительный текст. Разработчики утверждают, что распознавание речи и создание слоя метаданных осуществляется автоматически. Таким образом, содержание видеозаписей теперь может быть легко проиндексировано поисковыми системами. Например, можно быстро находить запись каждой фразы, сказанной политиком в течение его жизни.

Пример с политиками приведён неспроста. Дело не только в том, что они часто противоречат сами себе на протяжении своей карьеры, и теперь это можно будет легко вскрыть. Дело ещё и в том, что в данный момент полнотекстовый поиск доступен только по избранным видеозаписям, посвящённым избирательной кампании в США: это проморолики Маккейна и Обамы также некоторые другие политические материалы. Полнотекстовый поиск по ним осуществляется со страницы You Choose.

Во время просмотра видеоролика с метаданными достаточно навести курсор на строку состояния, чтобы появился сопроводительный текст.

Эксперты сходятся во мнении, что следующий прорыв на рынке социальных сетей произойдёт на мобильной платформе. В то же время ясно, что набирать тексты на мобильных телефонах очень трудно, и вряд ли эту проблему когда-нибудь решат. Клавиатуры неудобны по своей природе: им не место в будущем, как говорит даже Билл Гейтс.

Будущее принадлежит интерфейсам нового типа. Самым естественным выглядит голосовой интерфейс. В этом смысле новый английский стартап Blabnote выглядит как исключительно футуристический проект, который намного опередил своё время.

Blabnote (в данный момент закрытая бета) — это первая в мире исключительно голосовая социальная сеть, работа в которой осуществляется через мобильный телефон и только голосом. Чтобы залогиниться в сервисе, нужно просто позвонить на специальный номер со своего телефона. Система распознаёт номер и осуществляет вход автоматически.

Билл Гейтс доказал, что он отличный бизнесмен. Но в предсказаниях будущего он неоднократно ошибался. Например, в 2004 году Гейтс с уверенностью говорил, что в течение двух лет мы полностью избавимся от спама. Однако, прошло уже четыре года, а количество мусора в почте только увеличилось.

До этого Гейтс сделал ряд неверных прогнозов, которые стали поводом для насмешек со стороны недоброжелателей. Особенно часто упоминают фразу о том, что 640 килобайт оперативной памяти достаточно для решения любых задач на компьютере. Его прогнозы по распознаванию речи — это вообще отдельная песня, которая сопровождает Билла Гейтса как минимум десятилетие.

Учёные утверждают, что нашли способ расшифровывать мозговые сигналы в речь с 80%-ной точностью.

Парализованному 27-летнему англичанину Эрику Рамси (восемь лет паралича после автомобильной аварии) в мозг на глубину 6 мм были имплантированы электроды, которые записывали импульсы с 41 нейрона в области, отвечающей за генерацию речи (движения языка и губ). Полученный сигнал пропускали через компьютер для дешифровки.

Эксперимент продолжается уже три года. Всё это время доктора работают совместно с программистами. Первые заставляют Эрика вообразить одно из трёх простых слов (“oh”, “ee” и “oo”), а также фиксируют задействованные при этом нейроны. Программисты вносят эту информацию в программу, которая со временем учится автоматически распознавать слова. К настоящему моменту точность распознавания достигла 80%.

Владельцы продвинутых поисковых движков нового поколения Autonomy и Blinkx закончили процесс слияния. Это было логично, потому что технология (поиск среди неструктурированной разнородной информации по паттернам) у них по сути одна и та же, ведь основателем Blinkx был ведущий программист Autonomy, который ушёл из фирмы и основал своё дело. Теперь новая-старая компания приступает к следующей фазе своего развития.

Первичный выпуск акций должен состояться на альтернативной площадке Лондонской бирже в мае 2007 г. Планируется отдать народу только потребительское подразделение Blinkx, тогда как бизнес корпоративных поисковиков остаётся в собственности Autonomy.

На веб-сайте Blinkx осуществляется поиск по более чем 7 млн часам видеоматериалов, в том числе по закадровому тексту (работает распознавание речи) и объектам в кадре (распознавание образов). Добавить своё видео в поисковый индекс может любой пользователь.

Рекламная платформа Podzinger предусматривает внедрение небольших звуковых фрагментов или видеороликов в начало каждого подкаста. Продолжительность рекламного фрагмента будет 5-10 с. Внедряться он будет не просто так, а с учетом тематики подкаста и ключевых слов. Это будет контекстная, чрезвычайно релевантная реклама.

Технология HearHere от компании Pluggd Inc. будет использована для индексирования всего звукового контента во Всемирной сети. Но это не единственное ее применение. Скажем, ничто не мешает встроить технологию в MP3-плееры, как она сейчас встроена в онлайновый плеер на сайте Pluggd Inc. Благодаря функциям распознавания речи и семантического анализа текстов такой плеер позволит «проматывать» рекламные вставки в начале подкастов или другие чужеродные фрагменты.