Компания
315,72
рейтинг
9 декабря 2014 в 16:23

Разработка → Яндекс открывает новое направление своей деятельности — Yandex Data Factory

Только что в Париже на конференции LeWeb Яндекс объявил об открытии нового важного направления своей деятельности — по коммерческой обработке больших данных — Yandex Data Factory.

Мы верим, что обработка больших данных — это часть нового витка технической революции, который сделает всё человечество ещё более эффективным и приведёт нас к будущему, которое мы сейчас ещё даже не можем до конца представить. И в нём работа с большими объёмами данных будет не менее важной и распространённой, чем выработка электричества или железные дороги сегодня.



Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов с компаниями-партнёрами. Для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.

Кажется, каждый раз, когда человечество учится экономить где-нибудь 10%, происходит индустриальная революция. 200 лет назад стали использовать паровую машину. Сто лет назад благодаря развитию химии появились новые искусственные материалы. Электроника в XX веке изменила не только производство, но и быт. Когда люди поняли, что обрабатывать материалы дешевле в Китае и Юго-Восточной Азии, все промышленное производство мира переехало туда. На самом деле, 10% экономии — это мировые сдвиги. Анализ данных может помочь мировому производству и экономике стать более эффективными.

Интернет — не единственное место, где есть большие данные. Исторически еще в 60-70-х прошлого века их генерировали геологи. Они наблюдали за тем, как отражаются волны от взрывов на поверхности — это был их способ посмотреть под землю. В геологоразведке есть, что анализировать. И два года назад мы предоставили свои технологии параллельных вычислений и оборудование для обработки геолого-геофизических данных. Алгоритмы стали новым способом посмотреть под землю.

Многие из нас думают, что Wi-Fi в самолетах нужен для того, чтобы мы могли пользоваться своими устройствами во время полетов. Но изначально интернет в них появлялся, потому что современный самолёт — это тысячи датчиков, которые все время своего полёта измеряют огромное количество показателей и генерируют данные. Их часть передаётся на землю еще до посадки, а после неё из самолёта извлекают терабайтный диск и сохраняют его, не зная, что делать со всем, что на нём записано.

image

Но если посмотреть даже на те данные, которые передаются во время полёта, можно заранее предсказать, какие запчасти, например, нужно заменить в самолёте. Это сэкономит и время пассажиров, и ресурсы авиастроения, которое теряет 10% на простоях из-за запчастей. Сам Яндекс — это буквально улицы из серверов, которые потребляют 120 МВт мощности. И даже когда у вас сотни тысяч серверов, одновременно всегда в любую секунду не работает несколько сот дисков. Машина может предсказать, какой диск следующим выйдет из строя, и подскажет, что его надо поменять.

Яндекс — одна из немногих компаний мира, обладающих нужными для этого технологиями и экспертизой. Поиск в интернете невозможен без машинного обучения и умения анализировать данные. Сейчас они стоят практически за всем в Яндексе — прогнозом пробок, статистическим переводом, распознаванием речи и изображений. Большое влияние на становление этого оказала советская научная школа. Впоследствии мы создали Школу анализа данных, чтобы готовить специалистов, которые умеют работать с данными. В Высшей школе экономики при нашем участии появился факультет компьютерных наук, где в том числе есть департамент анализа данных и искусственного интеллекта.

Матрикснет — наша технология машинного обучения изначально создавалась, чтобы решать задачи ранжирования в поиске. Сейчас её используют ученые в ЦЕРНе. Один из проектов связан с построением системы отбора данных о столкновениях частиц в коллайдере в реальном времени. Это точный и гибкий фильтр, основанный на Матрикснете, который позволяет учёным очень быстро получать в распоряжение только интересные и важные данные о столкновениях частиц в БАК, чтобы использовать их в научных работах. Иногда это сверхредкие данные, встречающиеся, например, в 100 тысячах случаях на 100 миллиардов. Больше половины всех научных статей LHCb основаны как раз на данных, отфильтрованных нашим алгоритмом на базе Матрикснета.



Второй наш проект с ЦЕРНом — оптимизация хранилища данных. За два года работы БАК сгенерировал петабайты данных, которые хранятся на жестких дисках, чтобы у учёных был к ним оперативный доступ. Но место на HDD уже заканчивается, и какую-то часть данных нужно переносить на ленточные накопители. Это более дешевый способ хранения, но и менее гибкий — не так просто искать данные на ленте. Надо понять, какую именно часть файлов переносить, а какую — оставить на жестких дисках. Мы предложили ЦЕРНу помочь проранжировать тысячи накопленных файлов об экспериментах и выделить данные, которые необходимо оставить на HDD. Таким образом, мы поможем высвободить несколько петабайтов на HDD, а это десятки процентов.

Количество данных растет очень быстрыми темпами. Каждый из нас носит огромный источник данных в кармане — телефон. Датчики становятся всё дешевле, данных на сервера отправляется все больше, и встаёт вопрос, что с ними делать. Нам кажется, что если мы научимся их использовать и как-то с ними работать, то есть шансы сэкономить мировой экономике 10% ресурсов. И, если это случится, нас ждёт новая индустриальная революция.
Автор: @Zalina
Яндекс
рейтинг 315,72

Комментарии (32)

  • +3
    Хм, кажется Аркадий Волож говорил тоже самое на открытии факультета компьютерных наук. Местами слово в слово.
    • +34
      Возможно, Аркадий уже тогда что-то знал.
  • +2
    Т.е. у Яндекс будет аналог Azure Machine Learning?
    • +1
      Пока нет. Сейчас клиентами YDF являются большие компании, у которых много данных, из которых можно получить какую-то оптимизацию.
      • 0
        Больше всего, судя по пресс-релизу, YDF напоминает мне cloudera. Но ждём результатов реальных проектов, чтобы судить.
  • +7
    Ave Data Mining!
    Яндекс — отличный пример того, какими должны быть IT компании сегодня. Полезными для общества.
    *жму всему Яндексу руку*
  • 0
    Было бы интересно узнать как будут строиться типовые взаимоотношения с клиентами (владельцами данных), насколько массовой могут быть подобные услуги, возможно ли привлечение партёров-посредниов.
  • 0
    Я правильно понял что это индекс для большого количество данных, те я могу скинуть кучу логов и потом делать быструю выборку или агрегировать то что нужно?
    Можно еще раз для милиционеров пояснить?
  • 0
    А вы планируете выкладывать результаты некоторых из ваших исследований и/или путей их достижения? Было бы очень интересно почитать, особенно в самообразовательных целях!
  • 0
    « « — Нам кажется, что если мы научимся их использовать и как-то с ними работать, то есть шансы сэкономить мировой экономике 10% ресурсов. И, если это случится, нас ждёт новая индустриальная революция.»
    В начале-середине прошлого века про мобильные телефоны, видеосвязь, компьютеры рассуждали лишь писатели-фантасты / да и что с них взять – фантазеры /, однако сегодня это реальность. Успехов в Вашем начинании!
  • +1
    Задачка с проводами и беспилотником немножко выбивается из стройного ряда. Не совсем понятно, каким образом Computer Vision задача стала задачей big data. Конечно, там можно применить ML алгоритмы. Но они там будут не первичны. ML настроить это дня 2-3, а ещё месяц надо потратить на то, чтобы правильную и корректную видеоаналитику на вход этого ML подсовывать.
    При этом, если для ML можно шаблонизировать входы и выходы, то большей шаблонизации чем в OpenCV для CV задач сложно сделать.
    • 0
      Хм, ну например много беспилотников делают много фоточек, вот вам и бигдата. Запускается ли на этих данных сиви или что другое — это уже другой вопрос.
      • 0
        Собираем многа-многа фоточек, потом оп, мааагия. И оно всё решит.
    • 0
      Что Вы понимаете под видеоаналитикой? Вы же наверняка слышали про Deep Learning — кажется, современный CV движется в сторону feature-engineering-free подхода.

      Ну а в этом самом диплёрнинге и дата биг, и вычисления очень тяжелые.
      • 0
        Deep Learning это просто ML на большой размерности. Это может быть как Deep Belife Network, как Convolution Network, так и вообще SVM.
        Чтобы иметь адекватный выход вы должны понимать, что вы даёте на вход системы.
        Изображения размером 5000*4000? Это не съест ни одна сетка. Даже на кластере большого размера. Набор SURF|SIFT? Он будет нерепрезентативен, на вашу ситуацию «ветка около проводов» может не попасть ни один детектор. Набор детекторов углов Харриса? Он будет неустойчив к погоде.
        Вам нужно подавать что-то, где информативные данные по которым вы будете обучаться будут являться не 0.001% от подаваемой информации, а хотя бы 20-30%.

        Обычно такая задачка решается следующим образом: выделяется целевой объект (токовый провод в данной ситуации) и относительно него строится какая-то система разбиения окружающего пространства. И именно фрагменты этого нарезанного пространства, размеченные разработчиком и просмотренные глазами будут подаваться на вход в систему обучения.

        Но для того, чтобы вам это сделать, нужно сначала сделать детектор провода (и такой детектор вам не сделает ни одна ML сетка без очень хитрой разметки, которую разрабатывать будет пару месяцев), а потом ещё и придумать рабочую метрику. И основное потребление времени будет именно на этих этапах.

        В принципе я статью как-то на похожую тему писал тут.
        • 0
          Нет, deep learning это ни в коем разе не про большую размерность (входа). И уж тем более SVM не имеет к нему отношения (хотя где-то проскакивала статья о «глубоких» ядрах, но я её не читал).

          Ключевой характеристикой DL являются глубокие (в смысле количества слоёв) нейросети (а в случае с convnet'ами, даже не нейронные, а свёрточные), а фишкой является то, что такая сеть сама выучит все эти SIFT'ы и HoG'и.

          То, о чём Вы говорите — классический подход к задаче компьютерного зрения. Однако, state-of-the-art давно перешёл от hand-engineered признаков к свёрточным сетям.

          Однако, тут следует оговориться о решаемой задаче. Если детектировать нужно всего один заранее известный объект, то действительно есть смысл придумать хитрых фичей, собрать кучу данных и обучить тот же SVM. Однако, если стоит задача решить ImageNet, то, как показывают события последних лет, далеко с таким подходом не уехать.
          Ну и я не знаю, можно ли обскакать в первом случае придуманные фичи, если использовать предобученную свёрточную сеть.
          • 0
            И уж тем более SVM не имеет к нему отношения (хотя где-то проскакивала статья о «глубоких» ядрах, но я её не читал).

            www.google.ru/#newwindow=1&q=Deep+learning+SVM
            Deep Learning до сих пор не имеет строгого определения. Все определения, даже в той же Википедии более чем расплывчаты. SVM высокой размерности вполне себе часто определяют как DL.
            Ключевой характеристикой DL являются глубокие (в смысле количества слоёв) нейросети (а в случае с convnet'ами, даже не нейронные, а свёрточные), а фишкой является то, что такая сеть сама выучит все эти SIFT'ы и HoG'и.

            Свёрточные выучат безусловно. А вот Deep Belife чистый уже нет. Вопрос размерности и времени обучения. Но то, что выучит свёрточная сеть в задачке определения близости ветки к проводу для меня уже некоторая загадка. Я видел кадры аэрофотосъёмок, там даже глазу сложно с ходу что-то понять.

            То, о чём Вы говорите — классический подход к задаче компьютерного зрения. Однако, state-of-the-art давно перешёл от hand-engineered признаков к свёрточным сетям.

            Приведите пример задачи плана «определить ветки, расположенные близко к проводам» решённые через свёрточные сети.
            Я не спорю, что это мощный инструмент. Я не спорю, что Гугл ими смог решить задачу определения номеров на домах. Но это очень простая задача с очень низкой размерностью. Имея вычислительную мощность и огромную входную базу решить её можно разными способами.
            Имея задачу где входных ситуаций не 33 и не 150, а много тысяч и где обобщения нужно делать не на уровне примитивов, а на уровне уже обработанных данных высокого порядка (после выделенных проводов, веток, фона) применять свёрточные сети, пусть даже глубиной в 100 уровней бессмысленно. Они просто не смогут обобщить 0.001% полезной информации, которая имеется на изображении.

            Подумайте сами. Я даю вам 500 картинок аэрофотосъёмки разложенных по двум папкам. На всех картинках есть дома, животные, цветы, провода, дороги, леса.
            Как быстро вы сможете выделить закономерность, что в одной папке провода подходят близко к проводам, а во второй нет?
            ML-алгоритмы не работают лучше, чем человек с визуальными данными. Они работают значительно хуже. И им тоже нужно сначала помочь и акцентировать их внимание на необходимых для детектирования особенностях.
            • 0
              www.google.ru/#newwindow=1&q=Deep+learning+SVM
              Вы мне самому предлагаете найти статью, в которой SVM бы назывался Deep Learning'ом? Первые 3 результата моей выдачи рассказывают о том, как некий Yichuan Tang взял глубокую (свёрточную?) сеть и добавил ещё один слой в виде SVM'а. А если бы он добавил поверх логистическую регрессию, наивного байеса и методы ближайших соседей, они бы тоже Deep Learning'ом стали?

              Приведите пример задачи плана «определить ветки, расположенные близко к проводам» решённые через свёрточные сети.
              Я компьютерным зрением не занимаюсь и за литературой не слежу, но мне кажется, что использовать ConvNet'ы здесь — overkill. Просто потому что здесь не выполняется базовая гипотеза Deep Learning'а: нет иерархичности признаков. Мотоциклы состоят из корпуса, колёс и руля, которые, в свою очередь, дальше раскладываются вплоть до каких-то комбинаций контуров. У вас же есть только провод и ветки сами по себе; ни из чего они не состоят, поэтому и толку от глубоких сетей нет. С другой стороны, в Вашей задаче понятнее, как её решать (в отличие от мотоциклов): найти провода и проследить их по всей картинке на предмет пересечения с ветками. Понятно, что дьявол в деталях и как найти провода, так и ветки задача нетривиальная, но тут уж нужно думать (например, провода не висят в воздухе сами по себе, они цепляются к чему-нибудь. Вот это что-то можно и искать. Ветки обычно имеют либо сильно нерегулярную структуру, либо покрыты обильной зеленью).

              Но это очень простая задача с очень низкой размерностью
              Что Вы понимаете под размерностью? Вариативность у этих картинок очень высокая (посмотреть хотя бы на примеры из самой статьи). Кажется, различных вариантов написания номера будет даже больше, чем возможных конфигураций деревьев и проводов (особенно в случае аэросьёмки).

              Имея задачу где входных ситуаций не 33 и не 150
              А в какой задаче, решаемой машинным обучением, входных ситуаций 33 или 150 или, пусть даже, меньше 1 000 000?

              ML-алгоритмы не работают лучше, чем человек с визуальными данными
              Это почему? Вот, на MNIST'е эти алгоритмы уже обходят человека по точности.
              • 0
                Вы мне самому предлагаете найти статью, в которой SVM бы назывался Deep Learning'ом?

                Видно google ищет по разному в зависимости от истории запросов. У меня одно из первых было напмер такое. А дальше ещё пара похожих.
                videolectures.net/roks2013_wiering_vector/
                Просто потому что здесь не выполняется базовая гипотеза Deep Learning'а: нет иерархичности признаков.

                Воот. А о чём я вам говорю. Процент эффективной информации на изображении 0.001. А если нарезать сегменты вдоль проводов, то будет 100%. И нейросети уже заработают.
                У вас же есть только провод и ветки сами по себе; ни из чего они не состоят, поэтому и толку от глубоких сетей нет. С другой стороны, в Вашей задаче понятнее, как её решать (в отличие от мотоциклов): найти провода и проследить их по всей картинке на предмет пересечения с ветками. Понятно, что дьявол в деталях и как найти провода, так и ветки задача нетривиальная, но тут уж нужно думать (например, провода не висят в воздухе сами по себе, они цепляются к чему-нибудь. Вот это что-то можно и искать. Ветки обычно имеют либо сильно нерегулярную структуру, либо покрыты обильной зеленью).

                И вот мы подошли к тому, с чего я начал:
                Задачка с проводами и беспилотником немножко выбивается из стройного ряда. Не совсем понятно, каким образом Computer Vision задача стала задачей big data. Конечно, там можно применить ML алгоритмы. Но они там будут не первичны.

                Что Вы понимаете под размерностью?

                Размер входного вектора обучения.
                А в какой задаче, решаемой машинным обучением, входных ситуаций 33 или 150 или, пусть даже, меньше 1 000 000?

                MNIST и любая задача выделения цифр? 10 ситуаций + 1 ситуация на ложняки.

                Это почему? Вот, на MNIST'е эти алгоритмы уже обходят человека по точности.

                А наилучшую точность на MNIST даёт SVM. Ага. Но только MNIST не имеет с реальными задачами ну вот вооооообще ничего общего. Это идеальная база, написанная парой людей (если ещё раскидать нейронным газом или DBN, то там получается несколько групп на каждый символ), идеально сегментированная.
                Вот вам реальный пример: habrahabr.ru/company/recognitor/blog/243919/
                Мы выложили базу на 5000 нарезанных символов. Глазом опознаются все. Получите 99.9% точность алгоритмом ML. Тут вообще нет особенностей написания. Только небольшие искажения камеры.
                • 0
                  И вот мы подошли к тому, с чего я начал
                  С конкретно этой частью согласен. Однако, не всегда всё так просто, и для «композитных» объектов в Big Data (и «Big Computation») смысл есть.

                  videolectures.net/roks2013_wiering_vector/
                  Выглядит интересно, спасибо, посмотрю. Тем не менее, это какое-то расширение SVM'а, а не тот, что всюду используется.

                  MNIST и любая задача выделения цифр? 10 ситуаций + 1 ситуация на ложняки.
                  Следуя этой логике, в Вашем случае ситуаций всего 2: ветки накладываются на провода или нет. Тут ведь такое дело, что одна и та же цифра может быть написана несколькими различными способами. Даже при маленьком числе классов вариативность может быть очень велика.

                  А наилучшую точность на MNIST даёт SVM.
                  Ссылка? Мне гугл на запрос mnist sota выдаёт эту страничку, где сплошь нейросети.

                  Но только MNIST не имеет с реальными задачами ну вот вооооообще ничего общего.
                  А какая разница, имеет или нет? Вот конкретная задача, в которой роботы алгоритмы уже победили. Скоро и ImageNet подтянется.
                  Тут вопрос не том, искусственен ли датасет, а в том, может ли машина решать задачи зрения лучше человека. И лично я не вижу никаких преград этому, лишь вопрос времени и развития науки и техники.
                  • 0
                    Ссылка? Мне гугл на запрос mnist sota выдаёт эту страничку, где сплошь нейросети.

                    А это страничка создателей MNIST с теми алгоритмами, которые они верифицировали. Топовые — SVM.
                    yann.lecun.com/exdb/mnist/
                    А на счёт тех, где не верифицировали, есть страничка где народ и 0.999 заявляет по MNIST. Я могу и 100% написать алгоритм)

                    Следуя этой логике, в Вашем случае ситуаций всего 2: ветки накладываются на провода или нет.

                    Итоговый выход сети вам нужен будет именно такой. Но ведь понятно, что вводов при этом будет сильно больше MNIST'а. В MNIST всего 17 типов символов получается после автоматической группировки. В массиве символов, который я скинул — сотни, с плавными границами.

                    А какая разница, имеет или нет? Вот конкретная задача, в которой роботы алгоритмы уже победили.

                    А вот задачка где одной формулой я достигну результат, который не даёт ни одна нейросеть. И? Я надеюсь вы понимаете, почему это не аргумент?

                    Тут вопрос не том, искусственен ли датасет, а в том, может ли машина решать задачи зрения лучше человека. И лично я не вижу никаких преград этому, лишь вопрос времени и развития науки и техники.

                    Я тоже в этом не сомневаюсь. Но:
                    1) На мой взгляд современные алгоритмы не имеют ничего общего с реальным мозгом и даже теоретически на порядке слабее разума. Почему, на мой взгляд в этом цикле достаточно неплохо написано — habrahabr.ru/post/214109/
                    2) Когда-нибудь алгоритмы достигнут силы разума. Но вполне возможно, что путём, который пока что предсказать невозможно. И явно не в ближайшие десятилетия. Это могут быть электронные схемы по-типу процессора, который IBM выпустил, или биологические вычислители какие-то. А может квантовые компьютеры. Или качественно новые алгоритмы. Но тут явно дальше, чем до Марса.
                    • 0
                      А это страничка создателей MNIST с теми алгоритмами, которые они верифицировали. Топовые — SVM.
                      Как Вы топовость измеряете? В самом низу таблички я вижу, что у комитета из 35 сверточных сетей ошибка всего 0.23. Какой из приведённых там SVM'ом работает лучше?

                      Я могу и 100% написать алгоритм)
                      И статью, которую примут на топовую конференцию, напишете? Ну, приступайте тогда.

                      В MNIST всего 17 типов символов получается после автоматической группировки.
                      Какой группировки? По какому критерию? Почему Вы решили, что этот критерий адекватен? Не так давно я моделировал MNIST как смесь распределений – так там и 100 компонент можно было найти. А уж с точки зрения вложенного в цифру смысла там вообще всего 11 вариантов, вот только не найти его.

                      Я надеюсь вы понимаете, почему это не аргумент?
                      В задачке Вашей разбираться у меня, к сожалению, сейчас времени нет, но мой аргумент в пользу того, что алгоритмы могут работать лучше человека, вполне годится. Доказательство путём предъявления контр-примера называется.
                      • 0
                        И статью, которую примут на топовую конференцию, напишете? Ну, приступайте тогда.

                        MNIST нормальные конференции уже лет 5 как не принимают как тему докладов. Задачка по которой KNN выдаёт 99% нерепрезентативна.
                        Какой группировки? По какому критерию? Почему Вы решили, что этот критерий адекватен? Не так давно я моделировал MNIST как смесь распределений – так там и 100 компонент можно было найти. А уж с точки зрения вложенного в цифру смысла там вообще всего 11 вариантов, вот только не найти его.

                        Нейронным газом, или первичной группировкой через DBN. MNIST писало всего 4 человека. У них одинаковый почерк, который хорошо виден и группируется по нескольким стилям написания.
                        В задачке Вашей разбираться у меня, к сожалению, сейчас времени нет

                        Времени разбираться нет, но судить и высказывать мнение на хабре опираясь на синтетическую задачку не имеющую к реальности никакого отношения очень хочется…
                        Раз уж вы нашли время разобраться в MNIST, предложу другой вариант: сделайте программу, распознающую рукописный текст через MNIST. И посмотрите, насколько ваш тезис «алгоритмы работают лучше человека» работает.
                        Да ладно, какие мелочи. Напишите такие же синтетические буквы своим почерком, бинаризуйте и прогоните их через MNIST.
                        • 0
                          Я так понимаю, что с первым пунктом моего второго комментария этой ветки, гласящим о том, что SVM не имеет отношения к Deep Learning'у и проигрывает алгоритмам последнего, мы разобрались?

                          MNIST нормальные конференции уже лет 5 как не принимают как тему докладов
                          Что значит, «не принимают как тему докладов»? Как можно принять датасет как тему доклада? На конференциях, если что, рассказывают про новые модели, которые тестируются на нескольких датасетах. Ну и какие конференции тогда нормальные на ваш взгляд? Вот MS ставит ICML сразу после NIPS'а, а, согласно вышеприведённой мною ссылке, SotA на MNIST'е был представлен именно там и даже не в прошлом десятилетии, а всего год над.

                          Задачка по которой KNN выдаёт 99% нерепрезентативна.
                          Какой KNN? На упомянутой выше странице ЛеКуна чистые ближайшие соседи (без предобработки) имеют самое лучшее 2.83% ошибки. Все остальные методы содержат какой-то feature engineering.

                          Как бы то ни было, ImageNet, кажется, уже не за горами.

                          сделайте программу, распознающую рукописный текст через MNIST
                          Вы специально не видите разницы между распознаванием текста и цифр?

                          И посмотрите, насколько ваш тезис «алгоритмы работают лучше человека» работает.
                          Где я такое высказывал? Покажите, пожалуйста. Кажется, Вы путаете кванторы существования и всеобщности.

                          Времени разбираться нет, но судить и высказывать мнение на хабре опираясь на синтетическую задачку не имеющую к реальности никакого отношения очень хочется…
                          Кого судить? За что судить?
                          Все мои высказывания подтверждены ссылками. А вот Вы пока делаете ничем не подкреплённые заявления, перескакивая с одной темы на другую (Сначала SVM был Deep Learning'ом, потом он получил SotA на MNIST'е, а теперь MNIST стал никуда негодным датасетом). При этом мне приходится читать Вам текст из Ваших же ссылок, которые ни в коем разе не являются аргументами в Вашу пользу (Deep Learning SVM в гугле мне выдал обычную глубокую сеть с дополнительным слоем на конце, по ссылке на videolectures обсуждается какая-то модификация, SotA на MNIST'е ни разу не у SVM'а, а у ConvNet'ов).
                          • 0
                            Кого судить? За что судить?
                            Все мои высказывания подтверждены ссылками.

                            А разглогольствования на тему реальной применимости нет. Хоть один реальный пример вашим рассуждениям.
                            Я привёл реальные примеры. В том числе которые сам делал. Вы приводите модельные исследования по идеализированной базе. Эти исследования хороши когда вы хотите сравнить несколько алгоритмов. Но то, как работают эти алгоритмы в реальности не имеет к этому отношения.
                            Вы специально не видите разницы между распознаванием текста и цифр?

                            А не хотите ничего делать. Рукописные цифры. Написанные вашей рукой. Любым из алгоритмов обученным по MNIST. Хотя бы 95% эффективности. Сделать программу сегментирующую написанный текст и грузящую его в сетку 30 минут. Явно меньше, чем писать тут комментарии. Но вы почему-то не хотите этого делать. И на youtube вы не найдете роликов на эту тему.

                            Вы пытаетесь доказать свои утверждения о реальности на модельных данных. Что не отличается от игры в бисер. И сразу к вопросу, где вы такое говорили:
                            А какая разница, имеет или нет? Вот конкретная задача, в которой роботы алгоритмы уже победили. Скоро и ImageNet подтянется.
                            • 0
                              Хоть один реальный пример вашим рассуждениям.
                              Каким рассуждениям? Я пока преимущественно Ваши ошибки исправляю.
                              Если Вам интересны реальные примеры Deep Learning'а, с которого я начал, то то же распознавание номеров домов в Google Street View (и я так и не получил никаких убедительных аргументов в пользу простоты этой задачи, кроме странного аргумента про размерность входа. Вариативность-то высока) Или, вот, детектирование пешеходов, например.

                              А не хотите ничего делать. Рукописные цифры. Написанные вашей рукой.
                              Я считаю, что нужно сначала думать, а потом делать. Так вот, подумаем же: зачем мне это делать? Зачем мне тратить кучу времени на создание базы собственных символов, их оцифровку, сегментацию и конвертацию в подходящий формат для получения заведомо нерепрезентативной оценки точности классификатора? А ведь для сравнения точности классификатора с человеческой мне потребуется «контрольный» человек, заведомо незнакомый с моим почерком. Проведение хорошего эксперимента не так просто, как кажется.

                              И сразу к вопросу, где вы такое говорили:
                              Вы продолжаете путать кванторы всеобщности и существования. Каким-то образом Вы сделали вывод
                              — «Вот конкретная задача, в которой роботы алгоритмы уже победили» влечёт «алгоритмы работают лучше человека».
                              Якобы из существования задачи, на которой алгоритмы работают лучше, следует то, что они будут работать лучше и на всех других задах, т.е. как будто для любой задачи существует алгоритм, решающий её лучше человека (И сразу пытаетесь опровергнуть это, предложив мне другую задачу про распознавание букв в тексте, про которую я ни слова не говорил).
                              • 0
                                Много флуда, но не слова дела. Загрузить изображении в классификатор и считать его 30 минут код написать. Можете взять готовый код из моей прошлой статьи. Я не предлагаю вам обучить мнист. Я предлагаю проверить по обученному мнисту ваш почерк.
                                Если у вас нет обученного классификатора, могу несколько посоветовать.
                                другую задачу про распознавание букв в тексте, про которую я ни слова не говорил).
                                я вам предлагаю проверить мнист примером который пишется за 30 минут, но вы цепляетесь к словам и подменяете понятия.
                                Я пока преимущественно Ваши ошибки исправляю.

                                Кажется все началось с того как вы мне пытались поведать, что задача нахождения близких веток решается дипленингом… Но потом признали что это нее так.
                                • 0
                                  примером который пишется за 30 минут
                                  А случайное число от 0 до 1 я могу сгенерировать ещё быстрее. Почему в оценке, полученной от классификатора будет больше смысла, чем в этом случайном числе? Как я уже говорил, эксперимент нужно проводить аккуратно.

                                  Кажется все началось с того как вы мне пытались поведать, что задача нахождения близких веток решается дипленингом… Но потом признали что это нее так.
                                  Да, а в процессе обсуждения Вами был сделан ряд высказываний, которые мы сейчас и обсуждаем. Свой промах я признал ещё восьмью комментариями выше.

                                  Много флуда, но не слова дела
                                  Количество цитирований в моих ответах сокращается, значит, вопросы проясняются и процесс медленно, но верно сходится.
                          • 0
                            Пожалуй вверну пару тезисов.
                            Во-первых сверточные сети, в некоторой степени обманка(в плане того что не надо считать фичи),
                            ибо фичи считаются внутри сети(convolution и pooling слои), и получается вместо инженерии фич
                            вы занимаетесь инженерией архитектуры сети и слоёв,
                            у глубоких полносвязных нейросетей правда внутри этого нет(только архитектура варьируется), но не знаю так ли они хороши как сверточные для работы с изображениями.
                            И еще забавно что сам Ян Лекун отрезал последний слой сверточной сети и на конец вешал SVM и точность была выше!(т.е. по сути нейронная сеть использовалась только для преобразования пикселей в фичи)
                            И еще по сетке обученной на одной базе например MNIST можно обучить новую сеть используемую для другой похожей базы(других цифр), вроде это называется transfer learning.
                            вот тут где сетка похожая на рогатину
                            events.yandex.ru/lib/talks/2431/

                            Думаю задачу близко ли деревья к электропроводам можно решить сегментируя картинки(были работы и используя сверточную сеть) т.е. мы должны иметь базу отсегментированную вручную, а может быть даже и пихая на вход сами изображения, только потребуется намного больше данных.
                            • 0
                              Так фишка-то как раз в том, что не надо обладать доменной экспертизой для придумывания фичей — сеть сама выучит. Да, нужно как-то подобрать архитектуру, но на сей счёт я ничего сказать не могу, кажется, экспертом в области для этого быть не очень надо. Опять же, свёрточные сети так хорошо работают на картинках из-за их непрерывной природы: 2 пикселя в рзных частях изображения, скорее всего, никак не связаны между собою.

                              Использование машины опорных векторов на выходе я ничуть не удивительно. Кто-то оставляет простой softmax, кто-то ставит ещё 2-3 слоя полносвязной сети, а можно поставить softmax, обучить сеть и заменить выход на лес случайных деревьев.
                              Тут основная часть сети учит лишь выделение фичей из входов, поэтому и на другие входы (достаточно похожие, MNIST на ImageNet'е не поможет) её можно перенести.
  • 0
    del
  • 0
    В качестве демонстрационной вещи, интересной для _очень_ большого количества людей во всём мире, проведите анализ и поддерживайте актуальность биткоин-блокчейна, а лучше переплюньте blockchain.info… Объём данных там ~30Gb, в ней упокоились все транзакции сети биткоин с момента её запуска… Есть где развернуться вашей мощной R&D и всему, чему так привыкла славиться ваша компания.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка