Pull to refresh

Ошибки разработчиков при тестировании ММО

Reading time8 min
Views21K
Эта статья — взгляд на тестирование ММО с «другой стороны баррикад», с точки зрения геймера. Я хочу рассказать о том, как сделать альфа-тест, ЗБТ и ОБТ эффективнее. И о том, почему бета-тестеры перестают писать баг-репорты и переходят «в оппозицию» к проекту.

Предисловие


За свою жизнь я участвовал в ЗБТ и ОБТ примерно 30 игр. И самый главный вывод, который я для себя сделал – гейм-девелоперы совершенно не умеют распоряжаться теми людскими ресурсами в виде нескольких тысяч жаждущих прокликать весь функционал геймеров, которые им сваливаются на голову. И именно поэтому и был написан данный материал. От геймера – разработчику, сидящему по ту строну экрана. От тестера компаниям, которые не понимают, как правильно организовать процесс тестирования усилиями игроков.

Статья разбита на четыре раздела и написана в разговорном стиле. Я по порядку разбираю ошибки разработчиков на альфа-тесте, ЗБТ/ОБТ и при наборе тестеров после релиза. Те, кто хочет конкретики без долгих прелюдий и размышлений, могут сразу листать к последнему абзацу каждого раздела и выводам.

I. Альфа-тестирование


За последние годы стало признаком хорошего тона приглашать игроков на альфа-тест: World of Tanks (2009), WarThunder (2011), Lost Sector (2013), Armored Warfare (2014), etc. Я же утверждаю, что это плохая идея и АТ должны проводить профессиональные QA engineers, а не геймеры.

Почему? Потому что главное следствие наличия игроков на АТ – репутационные потери для вашей компании. Очевидно, что данный тезис может вызвать недоумение. Пояснение ниже:

1. Игроки приходят раньше других в ваш проект не для того, чтобы протестировать его на баги и поднести вам все ошибки на блюдечке, а чтобы получить свою порцию развлечений и удовольствия первыми. Бесспорно, если они найдут какой-то критический баг, который им мешает играть, то они о нём отрапортуют. Но в целом, геймеры хотят играть (и ещё раз играть!), и очередные глюки следующей тестовой сборки на самом деле вызовут только раздражение, а не понимание. И так как негатив люди запоминают гораздо легче, чем позитив, то к релизу эта часть игроков будет вспоминать не новые фичи, которые вы ввели, а все ваши ошибки. И станет первой армией критиков вашей игры в сети.

2. На практике это выглядит примерно так (на примере реакции игроков на очередной патч):
newbie: Ура, новый патч! Новые возможности!!! Это же прекрасно!!! Пойду лайкну разработчиков на форуме.
beta-tester: О, да… Новый патч – новые глюки. Пока не буду играть. Подожду пока откатят, поправят и доведут до ума. Мои нервы мне дороже. А пока поиграю в игру конкурентов.
alpha-tester: Хорошо, если снова не обделаются на весь мир. Помнишь, как сервер упал, когда 0.4.5 накатывали? Пойду, напишу в ЖЖ, что разрабы снова облажались и сделали всё неправильно, хотя мы им ещё на ЗБТ говорили, что нужно перебалансить эту карту.

Конечно, это гипотетический диалог, но, думаю, суть понятна. Я мог бы привести реальные диалоги игроков, пришедших в разное время в WoT, но это противоречит правилам данного ресурса. В частности, тем пунктам, которые касаются оскорблений и матов. Потому что я не могу вспомнить навскидку ни одного ЗБТ-шника, который бы цензурно отзывался о разработчиках.

Да, альфа-тестеров и збт/обт-шников гораздо меньше, чем других категорий игроков. Но именно они чаще всего занимают руководящие посты во всех кланах/гильдиях/корпорациях (нужное подчеркнуть). Как минимум, на первых порах. И соответственно, как наиболее опытные игроки, формируют и мнение о проекте в целом в рамках своего клана.

Конечно, если ваш проект “выстрелит”, то со временем первые кланы ”размоются” и в общем информационном шуме голоса вечно недовольных первых тестеров будут уже не слышны. Но, как говорится, осадочек останется…

Маленькое уточнение-summary: нет, я не утверждаю, что игроки-тестеры – зло. Я говорю, что у игроков, пришедших на АТ/ЗБТ/ОБТ и у QA engineers совершенно разные цели и, соответственно, разная реакция на проблемы в игре. Поэтому идея приглашать игроков на АТ, когда игра представляет из себя комок багов – это очень плохая идея.

II. ЗБТ&ОБТ


В теории (в моём понимании), главная цель ЗБТ и ОБТ – это тестирование усилиями геймеров динамично обновляющегося функционала игры на наличие ошибок ДО релиза. И отсюда мы получаем вторую цель – тестирование реакции ЦА на концепцию игры и различные фичи, которые вводят (или планируют вводить) разработчики. И как побочный эффект – минимизацию издержек на внутреннее тестирование сотрудниками компании-разработчика.

На практике же любое ЗБТ и ОБТ превращается в первую очередь в генератор довольно сомнительного инфошума (как пример – погуглите бложики школоты, которая, впервые услышав о существовании Armored Warfare, возносила игру до небес, а сейчас уже поливает помоями, хотя игра ещё даже на релиз не вышла). И с точки зрения КПД тестирования результаты тоже весьма спорные. Если быть точным в формулировках – разработчики делают всё, чтобы отбить у игроков-тестеров желание что-либо делать. И это катастрофическое неумение работать с аудиторией в несколько тысяч человек, которые действительно могут дать качественный фидбэк, заставило меня ниже расписать типичные ляпы в организации ЗБТ/ОБТ и методы их лечения (с точки зрения игрока).

Итак, поехали:

1. Отсутствие информации по тестам

Вообще, по моему личному убеждению, большинство ЗБТ/ОБТ проходят под девизом «тестируй То, не знаю Что». Итак, предположим, у нас есть некая гиперактивная группировка игроков-тестеров, которые день и ночь сидит в игре, находит баги и строчит сообщения на форуме (например, для военно-исторических игр – это «заклёпочники», которые отстаивают исторические ТТХ своей любимой техники).

И здесь главная беда заключается в том, что ни разработчики, ни коммьюнити-менеджеры не умеют направлять энергию этой таргет-группы в конструктивное русло на пользу проекта. От слова “совсем”. Серьёзно. Где рекомендуемые цели для тестирования? Где примерный план того, что разработчики хотели бы увидеть протестированным от игроков? Нет. Ничего из перечисленного на практике нет. Поэтому каждый тестирует сам, кто во что горазд – один делает видео на ютубе с пробиваемостью моделей, а второй пилит на форуме таблички со сведенными данными по пробиваемости пушек разных калибров из разных источников.

Особая прелесть ситуации заключается в том, что зачастую в вакансиях компании висит «исторический консультант», но при этом на форуме игры профессиональных историков с historia.ru или tsushima.ru, указывающих на нестыковки, разработчики посылают чуть ли не матом, мотивируя это тем, что «в нашей 100% реалистичной игре историзм принесен в жертву балансу». Про вики, которые делают школьники на основе гуглтранслейтовсуких статей, вообще молчу.

Отдельно вымораживает, когда разработчики в патч-ноуте на тесте не пишут изменения – из серии «с целью оптимизации баланса были изменены характеристики некоторых машин». Ну и как, вообще не зная, что изменилось, можно протестировать новшества? Или провести регрессивное тестирование? Нам калёными клещами каждый раз вытаскивать информацию из вас, господа разработчики? Подчеркну особо – речь идёт о ЗБТ/ОБТ, когда абсолютно все ТТХ в процессе балансирования (и мы – тестеры – это прекрасно понимаем), а не о пост-релизе, когда нерф или ап некой техники может вызвать широкий негативный резонанс миллионов игроков.

2. Отсутствие адекватного фидбэка

А теперь давайте представим, что несмотря на всё вышеперечисленное, некий Вася Пупкин, (который даже не подозревает, что он на самом деле занимается black-box тестированием) интуитивно догадался, что нужно тестировать и написал свой первый в жизни баг-репорт на форуме!

А в ответ:
— вообще не получил какого-либо ответа;
— тему закрыли и перенесли в архив без объяснения причин;
— получил ответ “баг известен, мы работает над этим” даже без элементарной благодарности;
— и так далее по спику…

Какая будет реакция Васеньки? – Правильно! Васенька больше в жизни ни одного баг-репорта не напишет.

3. Негативная реакция

Геймеры (даже тестировщики) – это, в первую очередь, потребители. Никогда не стоит об этом забывать. Они не дипломаты и не пресс-секретари корпораций. Так что это вполне нормальная рабочая ситуация, когда вместе с баг-репортами на разработчиков выливают ушат холодной воды. Иногда даже с помоями (заслуженно или нет – это уже другой вопрос). К чему это я? Да к тому, что примерно треть моих знакомых на ЗБТ/ОБТ переставали писать баг-репорты, получив резкую отповедь.

В рамках игрового форума на стадии ЗБТ/ОБТ я обычно наблюдаю два варианта реакции на обоснованную критику игроков, подкреплённую баг-репортами:
— карательно-репрессивная, вплоть до банов (пришел модератор с банхаммером);
— обвинительная (пришел разработчик и начал распекать игроков, что они сволочи неблагодарные – разраб тут ночами не спит, с женой уже секса неделю не было, а игроки все носом в баги тычут, никак не успокоятся).

В итоге, ещё некоторая часть тестеров становится враждебно настроенной по отношению к вашему проекту и бросает его тестирование. Это в лучшем случае. А в худшем – бежит жаловаться на игровые порталы и уходит к конкурентам.

4. Сомнительная награда

И вот наступил долгожданный ОБТ. Сидят в Тим-спике наш герой Вася Пупкин, у которого на счету 7 баг-репортов, и Дима Козлов, который зарегистрировался в последний день ЗБТ (real-story) и ничего не делал. А награда у обоих за участие в ЗБТ одинаковая – некий танчик, например. Как думаете, Васенька после такой вселенской несправедливости хоть один баг-репорт напишет? Правильно думаете – нет. И вот ещё одна группа квалифицированных тестеров канула в лету.

В целом, мне кажется, что выводы и так очевидны. Но когда объясняешь это на примерах в личке очередному разрабу, то натыкаешься на глухую стену непонимания (хотя за пределами гейм-дева это чаще всего вполне адекватный человек, если верить FB и VK).

Так что, краткие выводы

1. Если вы хотите, чтобы игроки что-то действительно тестировали на бета-тесте – относитесь к ним, как к своим штатным QA: дайте им план тестирования и создайте на форуме инфраструктуру для переваривания результатов этих тестов. Объясните Что, Когда, Как и Зачем стоит тестировать. В идеале – с рассылкой на почту всем желающим. Короче, поднимайте стандарты бета-тестирования! Вам школьники для массовки или тестеры нужны!?
2. Обеспечьте ваших бета-тестеров обратной и главное – своевременной (!) связью. Адекватный фидбэк на баг-репорты – залог цицилизованного и долговременного сотрудничества бета-тестеров и ГД-компании.
3. Научитесь адекватно реагировать на критику игроков и признавать свои ошибки. Обиженный игрок – это не только строчка “забанен” на вашем форуме, но и 500 терабайт ваших игр, розданных на торрентах (true-story). И ни одной лицензионной копии вашей игры в подарочном боксе на полочке у его соклановцев.
4. Запомните раз и навсегда – нельзя всех участников ЗБТ/ОБТ награждать одинаково. Награда должна быть пропорциональна вкладу игрока в проект! Иначе у тех, кто реально тестировал, вы напрочь отобьете желание что-либо делать до конца жизни вашего проекта.

III. Post-release


После релиза ничего не меняется: игроки хотят новый контент, а разрабы – свою копеечку на содержание двух любовниц и маленький домик на островах. Так что патчи и аддоны выходят как горячие пирожки из под руки пекаря, а баги продолжают плодиться подобно кроликам. Единственное отличие – на смену бета-тестерам приходят супер-тестеры. И здесь начинается очередной акт марлезонского балета нашей драмы Абсурда.

Если кто не понял – я о критериях набора в супер-тестеры. Вспоминая WoT, нас очень забавляла картина, когда заявки наших офицеров по тактике, которые в реальной жизни работают в IT и имеют винрейт 53-55%, отклонили, а сына нашего знакомого со статой в 43% взяли. А всё потому, что в отличие от нас он мог играть по 12 часов в сутки. К слову, в те времена, когда я уже удалил свой аккаунт в танках спустя год, он ещё не нашел свой первый баг.

И это проблема не только танков. Почему-то на супер-тест везде предпочитают набирать школоту, готовую играть круглосуточно. Я не имею ничего против ЦА – на ком-то же мы должны набивать опыт и фраги. Но предлагать им тестировать? Люди, вы это серьёзно? От какого тестера будет больше пользы – от подростка, который 16 часов будет играть в стиле «пыщь-пыщь ололо – я водитель НЛО!» или от часа игры взрослого, который придёт на тест заниматься делом?

На этом у меня почти всё и, как говорили классики, «Шахеразада умолкает, переходя от дозволенных речей к недозволенным мыслям».

IV. Умные мысли


На самом деле у меня всего одна умная мысль – геймификация игрового тестирования. Если вы хотите, чтобы игроки тестировали ваши игры – сделайте так, чтобы они получали от этого удовольствие! Вы ведёте рейтинг топ-игроков? – Добавьте на сайт рейтинг топ-тестировщиков. Выдаете медальки и ачивки за любой чих? – Сделайте отдельные уникальные достижения для всех, кто находит баги и помогает вам сделать проект лучше. У вас по выходным опыт х2 для задротов? – Введите повышенные рейты для тестеров. От этого выиграют все.

P.S. Я не утверждаю, что я «открыл Истину». Я всего лишь разжевал вполне очевидные вещи, понятные любому, кто хоть раз занимался организационной работой. Но так как гейм-девелоперы из игры в игру, из релиза в релиз старательно продолжают скакать на граблях под названием “как заставить геймеров перестать писать баг-репорты и саботировать тестирование игры”, то кто-то должен был написать этот пост.
Tags:
Hubs:
Total votes 28: ↑22 and ↓6+16
Comments28

Articles