Pull to refresh
VK
Building the Internet

Детектор троллинга: как мы повышали продуктивность с помощью речевого анализатора

Reading time 4 min
Views 39K


В современном мире корпоративный троллинг — явление такое же обыденное, как спам. В рейтинге «пожирателей времени» тролли стоят на первом месте, и дело не только в том, что их развелось слишком много, но ещё и в том, что, в отличие от спама (против которого уже появились весьма эффективные инструменты), корпоративные тролли мимикрируют под обычных офисных работников, а темы для троллинга базируются на том, в чём, собственно, и состоит работа. Поэтому иногда очень сложно отличить простое желание сотрудника «потроллить» от продуктивного спора по существу.

Отдел по повышению эффективности внутренних ресурсов Mail.Ru Group нашел способ, как отличить троллинг от продуктивного общения: мы создали программно-аппаратный комплекс «AntiTroll», протестировали его и убедились в эффективности. Подробности под катом.

Прежде всего, нельзя не упомянуть о том, что общение с троллем снижает эффективность не только самого тролля (который, словно болото, становится всё более широким от вливаемой в него свежей воды), но и сотрудников, которые участвуют в обсуждении. Поэтому снижение эффективности часто носит эпидемиологический (вирусный) характер.

Для того, чтобы определить уровень троллинга, мы погрузились в дискурсивный анализ, изучили язык, используемый членами нашего коллектива (о терминах, используемых нашими разработчиками мы писали тут.

В ходе этого анализа были рассмотрены как форма языка, так и его функция. В качестве исходного материала брались разговорная речь и письменные тексты, в которых мы идентифицировали лингвистические особенности восприятия различных текстов и типов устной речи.

Анализ письменных текстов включал в себя изучение развития темы и семантические связи (сцепки) между предложениями. В этом направлении нам очень помогли ребята из Поиска Mail.Ru.



Анализ же разговорной речи базировался как на вышеописанных аспектах, так и на практиках пошагового взаимодействия, открывающих и закрывающих последовательностей социальных взаимодействий или структуры нарратива.

Рабочей группе, разрабатывающей математический аппарат «AntiTroll», пришлось серьёзно изучить психолингвистику, социолингвистику, социологию, герменевтику, социальную психологию и даже антропологию (как оказалось, такие параметры как пол, рост и акустические свойства артикуляционного (речевого) аппарата тоже должны учитываться при обработке информации).

Параллельно с разработкой математического аппарата мы собирали данные для анализа.
К этому подключили нашу юзабилити-лабораторию. Экспериментальная группа сотрудников отдела разработки игр, после небольшого периода адаптации, начинала говорить о своём общем проекте, и при помощи подсадного тролля обсуждение переходило из стадии эффективного общения в стадию низкоэффективного троллинга на традиционно холиварную тему (к примеру, Android vs iOS или Windows vs Linux).

Были получены гигабайты данных, собранных регистраторами пульса, дыхания, активности коры головного мозга, микрофонами и видеорегистраторами. Данная исходная информация скармливалась скрипту, написанному на базе вышеописанного математического аппарата.

Результатом работы скрипта должно быть одно единственное число — уровень троллинга.

После 28 билдов (сборок) скрипта, мы были близки к тому, чтобы отказаться от этой идеи: скрипт выдавал какие-то непонятные значения, скорее, напоминающие результат работы генератора случайных чисел. И тогда мы решили добавить в математическую модель ещё один весовой вектор: «уровень эмоционального вовлечения». Точно он называется «субъективное оценочное отношение к существующим или возможным ситуациям». И вдруг, на 29-й сборке «оно» заработало!

Скрипт стал довольно точно определять уровень троллинга, и когда кто-то переходил из стадии продуктивного обсуждения в стадию словестной прокрастинации, числовое значение уровня троллинга стабильно росло.

В течение последних 7 месяцев мы тестировали данную систему в 5 отделах Mail.Ru Group, постепенно корректируя работу скрипта, и на данный момент мы добились точности определения троллинга в 96%.

Интересно, что в ходе тестирования был выявлен аналог «пика Балмера», известного большинству хабраюзеров. До определенного значения троллинг почти не влияет на продуктивность, но при достижении значения Х у разработчиков наблюдается резкий всплеск производительности (увеличивается количество коммитов, уменьшается число багов). Однако при превышении порога Х продуктивность резко падает.

Имеет ли это открытие практическое применение, пока не ясно: очевидно, что поддерживать уровень троллинга в рабочем коллективе на необходимом уровне для достижения этого пика довольно сложно.

Следующим шагом стало создание программно-аппаратного комплекса «AntiTroll Alarm!»:



Принцип достаточно простой: микрофон, размещённый в переговорке, передаёт аудиосигнал на постоянно работающий сервер со скриптом AntiTroll, и если обнаруживается высокий уровень троллинга, то на Arduino, подключенный к серверу через USB, поступает сигнал о включении реле «AntiTroll Alarm!». Как только уровень троллинга в обсуждениях зашкаливает, запускается сирена и проблесковый маячок:



Пока мы протестировали нашу новую систему в нескольких подразделениях в течение трех месяцев, но уже видим положительные результаты: количество коммитов выросло на 23%, количество найденных тестерами багов уменьшилось на 14%.

В ближайшем будущем мы планируем внедрить систему во всех подразделениях, а затем и вовсе сделать мобильные приложения, которыми сможем пользоваться не только мы, но и коллеги по рынку.

Только представьте себе — перед планёркой кладёте телефон в центре стола, включаете наше приложение, и не беспокоитесь о том, что пропустите тот момент, когда ваше обсуждение перейдёт в неконструктивное русло…

Исходный код позже будет выложен на github тут.
Tags:
Hubs:
+81
Comments 21
Comments Comments 21

Articles

Information

Website
vk.com
Registered
Founded
Employees
5,001–10,000 employees
Location
Россия
Representative
Миша Берггрен