Мы продолжаем цикл статей «Календарь тестировщика», где каждый месяц тестировщики Контура делятся опытом и рабочими секретами. В предыдущей статье Максим Захаров рассказал как разобрать бэклог.

В этот раз Илария Тарасова и Максим Колодкин из Контур.Эльбы, расскажут, почему тестировщику нужно общаться с клиентом и какие инструменты для этого есть в Контуре. Чтобы не пропустить новую статью, подписывайтесь на телеграм-канал.

В нашей команде разработчики сами хорошо и быстро пишут тесты. Поэтому мы не тратим время на автоматизацию, а боремся за качество продукта во всём, что касается взаимодействия с пользователями.

Сейчас у нас есть несколько каналов связи. Например, техподдержка общается по телефону, отвечает на сообщения в почте, Телеграме и онлайн-чатике в сервисе. Все собранные проблемы анализирует наш эксперт и передаёт команде в виде готовой статистики.

За 8 лет число пользователей сильно выросло, поэтому увеличилось и число консультантов. Сейчас их 70, они работают по жестким правилам и регламентам ради эффективности. С одной стороны, это помогает выстроить работу большой команды, а с другой, делает процесс очень негибким. Консультант может решить конкретную проблему, но у него не хватает времени, чтобы подумать шире и найти её истинную причину (например, в интерфейсе). В итоге такие проблемы не всплывают в ежемесячной статистике, а так и лежат на дне, пока не накопится критическая масса недовольных пользователей.

Кроме техподдержки, у нас есть Лайки и ЮзерЭхо. Сейчас оба канала ведёт техподдержка. Раньше этим занимались мы, но теперь мы отвечаем редко, скорее пользуясь ими в режиме read only, и как тестировщики получаем от этого много плюшек. О них мы вам и расскажем, а вы убедитесь, что близкий контакт с пользователем повышает качество продукта (if you know what I mean).

Лайки

Этот канал придумали дизайнеры как инструмент для оценки эмоциональной составляющей страницы, то есть личного ощущения комфорта-удобства или раздражения-непонимания. Выглядит как небольшое «ушко» с возможностью поставить лайк или дизлайк, а ещё написать подробнее, что именно понравилось или не понравилось.

«Ушко» с лайками в правом верхнем углу страницы.

По клику открывается форма для развёрнутого комментария.

Все обращения с Лайков приходят на отдельный электронный ящик с информацией, на какой странице Эльбы пользователь оставил лайк. В большинстве случаев контекст страницы помогает сразу понять проблему.

Со временем пользователи начали использовать этот канал как обычную техподдержку, поэтому мы передали Лайки в их распоряжение. Но мы до сих пор просматриваем то, что нам написали, на отдельной странице.

От быстрой и доступной обратной связи есть большой плюс — это мобильность. Представим, что мы зарелизили новую возможность и она не совсем понятна пользователю. В Лайки начинают поступать обращения об этом, мы их мониторим и задаем уточняющие вопросы пользователям, если нужно. Выясняем, в чем причина, и начинается работа с командой. В этот момент тестировщик уже непросто прокликивает набор сценариев, а начинает взаимодействовать с командой, чтобы унять боль большого количества пользователей.

Если бы этим занималась техподдержка, то процесс обратной связи был возможен только при наличии отдельного человека, аккумулирующего обращения, и это бы затягивало работу.  

Лайки — это способ видеть в текущий момент «среднюю температуру по больнице»: понять, где только симптомы, а где уже пора вызывать врача.

Ну и ещё пара побочных плюсов в придачу:

• Когда вчитываешься в обращения людей, то встаёшь на их место, и со временем накапливаешь ещё больше тестовых сценариев. Иногда удивляешься: оказывается, вот как они пользуются фичей! А при очередном прогоне вспоминаешь тех людей, и, пытаясь мыслить как они, проверяешь ещё больше test case-ов. Это также помогает в наших обсуждениях узкими кругами, о которых рассказывал Саша Ахметов.
• Решая проблему пользователя, начинаешь лучше понимать, как работают разные части системы. Так что, если хочешь, чтобы твой стажёр начал лучше разбираться в сервисе, пускай разгребёт немножечко обращений :)

ЮзерЭхо

Другой канал связи — ЮзерЭхо.

Для нас это банк проблем и давних хотелок. Этот сервис, как социальная сеть пользователей Эльбы, позволяет создавать топик каждому и голосовать за чужие топики. Таким образом, у нас есть количественная оценка пожеланий клиентов: накручивать голоса там проблематично, поэтому данным можно верить. Когда задача идёт в разработку, у топика меняется статус с «На рассмотрении» на «В работе». После окончания переходит в «Завершенные» с пояснением что мы реализовали со скриншотами из сервиса.

Если есть конкретное количество нуждающихся в фиче, то у тебя больше шансов убедить всех сделать именно ее. Или как минимум попросить юзабилиста провести исследование на эту тему и подтвердить или опровергнуть гипотезу.

Да, кстати, респондентов на такое тестирования даже искать не нужно, они уже все отписались в комментах к созданному топику. Единственная проблема — эти топики устаревают, и с годами появляется ощущение, что мы ничего не делаем. Типичный комментарий в таких темах-долгожителях: «Теме-то вон уже 5 лет, а вы так и не закодили! Тут работы-то на пару минут, я знаю, потому что сам программист». И с этим что-то нужно делать, чтобы не было негатива у старых пользователей и демотивации у новых.

Что мы решили с этим делать?

Спустя 7 лет ведения этого канала, написали честный текст:

Здесь команда Эльбы собирает предложения по улучшению сервиса. Чтобы решить, какую задачу взять в первую очередь, разработчики учитывают изменения в законодательстве, сложность задачи и её полезность. Иногда нам помогают пожелания на ЮзерЭхо:

— Если ваша идея наберёт 100 голосов, разработчики обсудят её и опишут решение в теме.

— Если ваша идея наберёт меньше 50 голосов за год, мы закроем обсуждение».

Минусы процесса

Чтобы у вас не создавалось ложного ощущения, что близкое общение с пользователем имеет только положительные аспекты, мы перечислим пару минусов:

Замыливание взгляда на первых порах. Разговариваешь с конкретным пользователем → решаешь проблему пользователя → думаешь, что такая проблема есть у всех. Со временем этот минус исчезает, потому что начинаешь лучше различать общие и частные проблемы.

Разнообразие каналов обращений не позволяет посчитать в одном месте все обращения по однотипным проблемам. Техподдержка справляется с этим хорошо, ребята заводят обращения в единую базу. А вот Лайки и ЮзерЭхо стоят в стороне. Нам хочется иметь удобный инструмент, который не требует большого количества времени, чтобы считать все голоса в одном месте. Если вы уже решили для себя эту проблему или нашли удобный инструмент, напишите об этом нам.  

Мы работаем в Эльбе уже 5 лет и почти всё это время общаемся с теми, кто использует наш сервис. После этого воспринимаешь пишущих более лично. Ты понимаешь, КОМУ помогаешь. Это не сферический конь в вакууме, а тот парень, который подтролливает тебя в топике. А ещё он на Новый год написал пост с благодарностями, который ты перепостил в общекомандный чатик, и все поумилялись и, может, даже начали работать с большим энтузиазмом.

В конце концов, знаешь, что ради помощи сотням, а то и тысячам таких хороших людей, ты и ходишь на работу каждый день, и делаешь лучше не только свой продукт, но и мир в целом :)

Список статей календаря:
Попробуй другой подход
Разумное парное тестирование
Обратная связь: как это бывает
Оптимизируй тесты
Прочти книгу
Тестирование аналитики
Тестировщик должен поймать баг, прочитать Канера и организовать движуху
Нагрузи сервис
Метрики на службе у QA
Протестируй безопасность
Узнай своего клиента
Разбери бэклог