Зачем нужны тестеры набранные из пользователей
Бывает что силами внутреннего отдела тестирования нельзя проверить некоторые вещи, так как они требуют например массовости или захода одновременно с нескольких IP-адресов, что сложно воспроизводимо в условиях офиса. Тогда на помощь отделу тестирования приходят пользователи, которые готовы безвозмездно, ради улучшения качества проекта, помочь администрации.
Их помощь может быть разной, от тестирования нового функционала, до разбора ошибок из обращений других пользователей, например с форума. Если говорить о разработке онлайн игр, их помощь может быть весьма полезна, если вы собираетесь как-либо менять игровой баланс, или вводить новый функционал, они как игроки могут подсказать как поменяется баланс в игре и как отреагируют пользователи.
Как понять что именно этот пользователь может помочь проекту
Для примера рассмотрим некую браузерную онлайн игру, существующую уже некоторое время и активно развивающуюся. У нас есть сформировавшееся коммьюнити, которое общается на форуме, из них и будем проводить отбор.
В первую очередь стоит обращать внимание на пользователей активно общающихся на форуме, тех кто помогает новичкам, не материт администрацию только за то что она администрация, и чьи комментарии к новостям об обновлении бывают конструктивны. Также можно смотреть в темах об ошибках, если пользователь активно постит найденные ошибки, то возможно он сможет помочь нам в тестировании.
Будем считать что мы нашли некоторое количество желающих и могущих помогать проекту пользователей. Дальше нам надо посмотреть как они себя поведут в условиях постановки задач и описания багов. Для этого нам потребуется тестовый сервер с заранее смоделированными ошибками. Запускаем туда пользователей, даем задачу проверить какой-либо элемент игры, с просьбой постить все найденные ошибки например в форму гугл, с указанием его ника или имени. По итогам этой проверки мы сможем определить насколько адекватно пользователь может находить и описывать ошибки.
Общение с внешними тестерами
Тут есть несколько вариантов организации общения с “внешниками”. Первый вариант: если задачи требуют массовости стоит разделить “внешников” на команды и назначить в каждой из них руководителя с которым вы непосредственно будете общаться и который будет давать задачи конкретным людям, собирать отчеты об ошибках и отправлять их вам. Второй вариант: “общий чат”, например скайп конференция, в которой сидят все тестеры и могут неограниченно общаться друг с другом и просить помощи в выполнении задач. В таком случае необходимо наладить постановку задач, на первое время подходят расшареные таблицы, в дальнейшем можно начать использовать баг-треккинг системы, например Mantis, для удобства учета кто и сколько задач проверил, и сколько кто нашел ошибок. Третий вариант: “индивидуальный”, то есть с каждым тестером вы общаетесь лично, выдаете ему задачу, он вам отдает отчет о найденных багах.
Теперь немного о мотивации
На первых порах люди соглашаются работать за идею, далее необходимо их удерживать если они оказывают хорошую помощь. Тут на помощь к нам придет игромеханика, как правило все браузерные игры построены на системе free-to-play, что делает получение некоторых вещей в игре сложным, или невозможным без вливания реальных денег, так как контракта мы с тестерами не подписывали, то платить реальные деньги мы им не можем, соответственно мы можем им оказать поддержку в игре, “нарисовав” им немного “реальной” валюты в игре, а вот сколько это зависит от вас, и от тестеров, например: у нас есть 3 тестера, всем тестерам, если они работали в этом месяце, мы “платим” определенную сумму, пусть это будет эквивалент 300 рублей. Тестер номер один обработал 10 задач и нашел в них 5 багов, добавим ему еще 100 “рублей”, тестер номер два обработал одну но очень большую задачу, и нашел в ней 15 багов, добавим ему за старания тоже 100 “рублей”, тестер номер три обработал 3 мелких задачи но нашел один критический баг не связанный ни с одной задачей, ему мы добавим 200 “рублей”. Итого мы плати первым двум тестерам 400 “рублей” а третьему 500 “рублей”. В плане сколько кому платить тут решать либо руководителю проекта, либо внутреннему тестеру компании, ответственному за внешних тестировщиков.
Что нам дает использование внешников
Если у вас нет бюджета на содержание толпы тестировщиков в штате, это позволяет используя одного-двух внутренних тестеров обрабатывать много задач. Это экономит время и нервы программистов, которые будут отстранены от общения с толпой людей каждый из которых будет сообщать ему о багах, все будет делаться одним человеком, который фактически выступает посредником между разработчиками и пользователями. Дает возможность проанализировать задачи с точки зрения среднего пользователя, и понять что им, пользователям, надо.
Минусы использования внешних тестеров
— Сложно контролировать исполнение задач
— Ответственность за ошибки на паблике лежит на внутреннем тестере
