• Применение сверточных нейронных сетей для задач NLP

      Когда мы слышим о сверточных нейронных сетях (CNN), мы обычно думаем о компьютерном зрении. CNN лежали в основе прорывов в классификации изображений — знаменитый AlexNet, победитель соревнования ImageNet в 2012 году, с которого начался бум интереса к этой теме. С тех пор сверточные сети достигли большого успеха в распознавании изображений, в силу того факта, что они устроены наподобие зрительной коры головного мозга — то есть умеют концентрироваться на небольшой области и выделять в ней важные особенности. Но, как оказалось, CNN хороши не только для этого, но и для задач обработки естественного языка (Natural Language Processing, NLP). Более того, в недавно вышедшей статье [1] от коллектива авторов из Intel и Carnegie-Mellon University, утверждается, что они подходят для этого даже лучше RNN, которые безраздельно властвовали областью на протяжении последних лет.

      Сверточные нейронные сети


      Для начала немного теории. Что такое свертка? Мы не будем на этом останавливаться подробно, так как про это написана уже тонна материалов, но все-таки кратко пробежаться стоит. Есть красивая визуализация от Стэнфорда, которая позволяет ухватить суть:

      image
      Источник
      Читать дальше →
    • Нейронные сети, генетические алгоритмы и прочее… Мифы и реальность. Знаки

        Эта работа является продолжением всего сказанного ранее в статье «Нейронные сети, генетические алгоритмы и прочее… Мифы и реальность. Версия II». В большинстве статей, посвященных анализу текстов, которые удалось изучить автору, под анализом текста понимается главным образом две совершенно практические задачи, связанные либо с извлечением какого-либо контекста, либо перевод текста с одного языка на другой. В первом случае речь, как правило, идет или об «очистке» анализируемого контента и сопоставлению какого-либо участка текста эталону в соответствии с заранее заданной таксономией1 каких-либо сущностей. Например, разбор адресов, товаров и т.д. Во втором случае, о поиске соответствия одного блока текста, написанного на одном языке блоку, написанному на другом.


        Объединяющим оба эти варианта является статистический, по сути, анализ участков контекстов, с учетом синонимов слов, устоявшихся выражений. При этом за рамками такого рода анализ выходит анализ троп2, риторических оборотов и много другого. Причина этого кроется в непонимании современной наукой даже на философском уровне некоторых базовых вопросов, связанных с логикой мышления и принятия решения, построения знаковых систем т.е. неразвитость семиотики и т.д.

        Читать дальше →
      • Как производится оценка состояния объекта?

        В школе мне понадобились колоссальные усилия, чтобы понять концепт Кантора о множестве мощности континуум. Но потом я понял, что ничего не понял, а лишь заучил правила работы с такого рода объектами. В области понимания как было белое пятно, так оно и осталось белым. С тех пор я неоднократно возвращался к этому вопросу, пока не познакомился со статистической физикой и сопроматом.

        В этих науках очень хорошо были определены понятия вещества и понятие состояния. Было сказано, что для определения вещества нужен объем минимального размера, меньше которого мы имеем уже не вещество, а набор молекул, а для оценки состояния требуется конечное время, чтобы зарегистрировать некоторое значение, связанное с состоянием. Если мы будем говорить о состоянии, используя временные интервалы менее минимального, то получим не оценку состояния, а что-то непонятное.

        Я понимал, что на этой основе можно построить иную математику с иными аксиомами. Этого я не сделал, но запомнил, что для оценки состояния нужно указать минимальное время, в течение которого есть смысл говорить о совершении измерения, как для определения вещества нужен минимальный объем. Тогда данное время будет считаться мгновением для оценки данного состояния. Это время может быть разным для разных свойств и методов оценки. Например, для того, чтобы понять, какого цвета автобус при помощи глаз, нужны миллисекунды, а для того, чтобы понять в каком состоянии сейчас находится климат Земли при помощи термометра, нужно несколько лет.
        Читать дальше →
        • –7
        • 1,5k
        • 9
      • Как мы моделируем предметную область в предикатах второго порядка и не замечаем этого

          Любая модель обладает ограниченной точностью. Чем более точную модель надо построить, тем больше информации для этого придется хранить. Если есть возможность свернуть массив данных по какому-то из критериев, то такая свертка позволяет резко сократить объем хранимой информации. Однако, такая свертка не моделируется штатными способами моделирования, потому что требует моделирования высказываний одновременно и относительно множеств объектов, а не относительно объектов этих множеств. Фактически, нам нужен инструмент для моделирования как предикатов первого порядка, так и предикатов второго порядка.


          Поясню на самом распространенном примере. Когда мы пишем, что станок был выпущен в 1939 году, а утилизирован в 1990, мы имеем ввиду, что станок существовал на протяжении всего указанного периода и в любой интервал времени между указанными датами. Альтернативой этому высказыванию было бы хранение информации о всех возможных интервалах, в течение которых станок был признан существующим. Но все возможные интервалы времени на протяжении этого срока даже с шагом дискретизации в сутки – это огромный массив данных.


          Пользоваться этим массивом данных так же неудобно, как и его хранить. Строить запросы к этому массиву данных – тоже неудобно. Например, у нас есть запись о том, что станок существовал с12 июня по 17 июня и находился в этот период в машинном отделении ГЭС. Но на основе этой записи мы ничего не можем сказать о существовании и нахождении станка в период с 13 июня по 15 июня, потому что при таком подходе к моделированию для ответа на это вопрос нам нужна отдельная соответствующая запись.

          Читать дальше →
        • Решение больших проблем небольшим семантическим анализатором

            image


            Сдача проекта в опытную эксплуатацию. Комиссия наблюдает, как система распознаёт информацию из сообщений, поступающих в в режиме реального времени. Приходит первое сообщение: “Тихо.


            Комиссия. Что значит “Тихо”? Они там в филиале пьяные что ли?
            Система. "Тихо" = Сила ветра в пределах нормы.
            Комиссия. Так это они о погоде. Система сдана в опытную эксплуатацию!


            Все события в статье вымышлены. Любые совпадения с реальностью случайны.


            Мне довелось работать на проекте, в котором с помощью семантического анализа удалось решить одну из главных проблем управления крупным бизнесом — получение своевременной и актуальной информации о состоянии дел в филиалах компании.

            Читать дальше →
          • Классификация тем обращений в контактный центр

              Здравствуйте, коллеги! В этой статье я кратко расскажу об особенностях построения решения по классификации тем обращений клиентов в контактный центр, с которыми мы столкнулись при разработке.

              Определение тем обращений используется для отслеживания тенденций и прослушивания интересующих записей. Традиционно, эта задача решается путём проставления соответствующего тега оператором, но при данном подходе большую роль играет «человеческий» фактор, и тратится много человеко-часов работы операторов.


              Читать дальше →
            • Ой, у вас баннер убежал!

              Ну, и что?
              Реклама
            • Мульти-классификация Google-запросов с использованием нейросети на Python

                Прошло уже достаточно времени с момента публикации моей первой статьи на тему обработки естественного языка. Я продолжал активно исследовать данную тему, каждый день открывая для себя что-то новое.

                Сегодня я бы хотел поговорить об одном из способов классификации поисковых запросов, по отдельным категориям с помощью нейронной сети на Keras. Предметной областью запросов была выбрана сфера автомобилей.

                За основу был взят датасет размером ~32000 поисковых запросов, размеченных по 14ти классам: Автоистория, Автострахование, ВУ (водительское удостоверение), Жалобы, Запись в ГИБДД, Запись в МАДИ, Запись на медкомиссию, Нарушения и штрафы, Обращения в МАДИ и АМПП, ПТС, Регистрация, Статус регистрации, Такси, Эвакуация.
                Читать дальше →
                • +18
                • 6,3k
                • 6
              • Сравнительный анализ физических и функциональных объектов

                  Эта статья является продолжением статьи Функция и функциональный объект


                  Как я писал ранее, функциональный объект можно определить как пространство, в котором происходит поглощение или излучение потоков, которые с точки зрения субъекта желанны, или необходимы. Выделив это пространство, можно задать два вопроса:


                  1. Что будет, если в данном пространстве поменяется физическое наполнение. То есть, если потоки останутся, а материальный объект, который находился в этой части пространства, поменяется?
                  2. Что произойдет, если потоки прервутся? функциональный объект будет непрерывным, или тоже прервется?

                  На первый вопрос все аналитики единодушно отвечают, что функциональный объект останется без изменений. Это значит что объект такого рода может иметь разрывы в материальном воплощении. Этот факт заставляет многих их думать, что функциональный объект чем-то отличается от физического. Но, как я писал ранее, физический объект тоже меняет свое физическое наполнение, поэтому критерий сохранности физического наполнения не имеет смысла. Чем же отличаются физический объект от функционального? Только точкой зрения. Концентрация внимания на разных потоках порождает разные объекты, и больше никакой разницы между физическим и функциональным объектом не существует! Это значит, что с одной точки зрения объект может быть назван функциональным объектом, а с другой — физическим. Думаю, вы сами сможете найти примеры такого рода "перевоплощений".

                  Читать дальше →
                • Функция и функциональный объект

                    Написано с участием Игоря Катричека katrichek@gmail.com


                    Человек и все живые существа используют окружающую среду в своих целях. Считается что, построив парадигму объектов и, рассматривая созданные им объекты через призму их полезности, человек достиг в этом большего совершенства, чем животные. Например, отполировав медную пластину до зеркального блеска, человек использует свойство созданного им предмета отражать свет и называет эту пластину зеркалом. Такое отношение к среде порождает разделение объектов на полезные, вредные и никчемные. Создали ли животные парадигму объектов, или у них своя, отличная от нас парадигма, мы не знаем, спросить не можем.


                    По факту, все объекты — это части окружающей нас среды. Нет различия между самолетом и камнем. Нет разницы между объектами, в создании которых принимал человек и теми, в создании которых он не участвовал. Чтобы не тратить время на бесполезные споры о степени участия человека в создании тех или иных объектов, я предлагаю не делать различие между ними.


                    Понятие о функции


                    Любой объект можно наделить функцией. Например, зная те потоки, которые исчезают в теле объекта, и те потоки, которые образуются в нем, мы можем сказать, что функция объекта — преобразование входящих потоков в выходящие (например, у зеркала функция отражать падающий свет). Мы можем наделить объект функцией быть самим собой. И тогда функция объекта — это поток его состояний (например, функция картины демонстрировать себя). Правда, при этом мы учитываем не все потоки и не все состояния, а только те из них, которые либо желанны, либо необходимы с нашей точки зрения, например, для объяснения причин их возникновения.

                    Читать дальше →
                  • Наблюдатель, объект, поток, среда

                      Объект можно представить тремя способами:


                      1. Как объем, наполненный плотной материей.
                      2. Как результат синтеза конструкции: поселок как объект есть синтез домов поселка.
                      3. Как результат анализа конструкции: антенна есть часть комплекса наведения ракет.

                      В данной статье рассмотрим, как появляется представление об объекте как об объеме плотной материи.


                      Парадигма объектов, излучающих потоки, которые распространяются в среде


                      Мы представляем себе мир как среду, в которую помещены сгустки материи (объекты), излучающие или поглощающие потоки энергии и материи. Среда прозрачна для потоков и выступает в роли передаточного звена между объектом и наблюдателем.


                      Для регистрации объекта (его положения в пространстве, температуры и прочих характеристик) необходим поток энергии или материи, исходящий, или поглощаемый объектом, детектор этого потока и время, чтобы зарегистрировать этот поток. Можно использовать разные потоки: свет, молекулы, нейтроны, но есть условие: поток, чтобы быть зарегистрированным, должен состоять из однотипных элементов.


                      Наши органы чувств способны регистрировать потоки света, звука и материи. Свету и звуку соответствуют зрение и слух, о потоку материи сразу три органа чувств: обоняние, осязание и вкус. Объекты, которые мы видим, обусловлены нашей способностью регистрировать эти потоки. Однако, если бы мы могли регистрировать другие потоки, например, потоки нейтронов, мир для нас наполнился бы иными предметами.

                      Читать дальше →
                    Самое читаемое