Pull to refresh

Особенности краудсорсинга тестирования для заказчика

Reading time 6 min
Views 4.9K
Обратил внимание, что практически нет заметок, посвященных интересному, на мой взгляд, сервису uTest.com. Я работаю с ним уже в течение полугода, протестировал около десятка релизов, однажды даже получил награду как лучший тестировщик проекта, принимал участие в соревновании Bug Battle, общаюсь на форуме и с штатными сотрудниками.

В данной заметке я поделюсь своими мыслями, с какими особенностями тестирования может столкнуться заказчик тестирования, обратившийся в uTest, и какую выгоду он может извлечь. Если тема интересна, позже напишу о том, что получает исполнитель, вступая в это сообщество, какие виды заработка доступны и как лучше начать карьеру внештатного тестировщика в uTest. Если у вас есть какие-то вопросы по теме, которые по каким-либо причинам не могут быть заданы в комментариях, пишите на почту.

Что такое краудсорсинг?


В обиход этот термин был введен в июне 2006 года, редакторами журнала Wired Джеффом Хауи (Jeff Howe) и Марком Робинсоном (Mark Robinson) в статье The Rise of Crowdsourcing. Согласно их определению, краудсорсинг представляет собой передачу компанией или организацией функций, ранее выполняемых ее сотрудниками или по договору подряда, некоторому сообществу людей в форме обращения. Работа может быть коллективной, но, как правило, все же выполняется отдельными людьми. Важнейшими требованиями являются использование обращения к сообществу и большая аудитория потенциальных работников.

Особенности тестирования


Вполне логично, что данный вид тестирования допустим не для всех проектов, например, вряд ли стоит рисковать, отдавая на тестирование что-то оригинальное и не имеющее аналогов. Да, для работы над рядом проектов нужно подписать NDA, но информация о себе, предоставляемая тестировщиками, насколько я знаю, не проверяются, так что вполне можно избежать ответственности, указав некорректные данные. Более того, вряд ли получится идентифицировать источник утечки информации, так что даже некому будет предъявить иск.

Другое исключение составляют многокомпонентные проекты или требующие сложного и дорогого оборудования. Я не думаю, что у кого-то дома стоит сервер от Sun или IBM, а заниматься таким тестированием на работе довольно проблематично. Для комплексных проектов требуется хорошее понимание функционирования отдельных компонентов, способов их взаимодействия между собой, отличные навыки интеграционного тестирования, склонность к тщательному анализу и разбору причин возникновения проблемы. Если на работе тестировщики могут общаться с разработчиками, пользоваться специально разработанными внутри компании инструментами для отладки и эмуляторами, то нанятые на один тестовый цикл специалисты лишены этих возможностей.

Исходя из специфики процесса тестирования в краудсорсинге можно сделать вывод, что для большинства членов сообщества это подработка, что удалось подтвердить, общаясь с ними на внутреннем форуме. Соответственно, не стоит ожидать стопроцентной концентрации тестировщиков на проекте и глубокого, тщательного тестирования.

Приведу пример из своей практики. Однажды днем мне пришло уведомлении о старте проекта, в котором надо было проверить локализацию нескольких динамических web-страниц. Поскольку я был на работе, то к тестированию удалось приступить лишь вечером. К этому времени один из русскоязычных коллег уже нашел около 15 дефектов, связанных с локализацией и завершил тестирование. Поскольку самые простые дефекты были уже найдены, пришлось постараться, однако мне удалось найти еще около 10 более сложных и неочивидных проблем. После того, на следующий день я посмотрел список дефектов на этом проекте и увидел, что после меня на этих же страницах было найдено еще 5 дефектов.

Таким образом, с одной стороны, качество тестирования повышается, поскольку каждый работает независимо и старается найти максимальное количество дефектов, максимизируя свою прибыль. С другой, нельзя быть уверенным в качестве тестирования, ведь тестировщик может выполнить свою задачу (заработать определенную сумму приложив определенные усилия), но не выполнить вашу – оценить реальное качество продукта.

Другое узкое место – покрытие тестированием. При данной схеме работы тестировщики заинтересованы в нахождении максимального количества дефектов. Если тестирование происходит внутри компании или нанимается команда, можно оговорить глубину тестирования каждой области функционала и критерии приостановки тестирования. В случае с uTest я не сталкивался с такими ограничениями. Само тестирование в таком случае напоминает процесс добычи руды: находится и разрабатывается область с высокой плотностью дефектов, изучать остальные просто нерентабельно. Казалось бы, при истощении «жилы» тестировщики будут переходить к областям, менее насыщенным дефектами, однако следует учитывать ограничения по времени и бюджету проекта. Кроме того, там где «свой» тестировщик проанализирует причины неисправности, найдет ее причину и занесет один дефект, краудсорсинговый скорее будет заносить дефекты на каждый отдельный симптом, так что это больше вопрос доверия профессионализму незнакомого вам человека.

Тут возникает еще одна загвоздка: дело в том, что для вступления в это сообщество тестировщиков никак не надо подтверждать свою квалификацию. Так что отдавая релиз на тестирование будьте готовы к тому, что работать над ним может кто угодно, в том числе и люди, слабо представляющие себе, что такое тестирование, или плохо владеющие английским языком. Несколько раз сталкивался с тем, что дефекты заносятся явно противоречащие тому, что указывается в требованиях к релизу, на «живых» нагрузочных испытаниях некоторые участники ведут себя довольно бестолково и скорее мешают, нежели помогают, иногда даже явно игнорируя требования менеджера продукта, который пытается их дисциплинировать. Конечно, существуют закрытые проекты, куда попадают только хорошо зарекомендовавшие себя тестировщики, обладающие высоким рейтингом (отношением правильно занесенных и принятых дефектов к общему количеству занесенных), либо отличившиеся в ежеквартальных соревнованиях по тестированию, но они явно будут стоить заказчику дороже.

И наконец, одна из довольно неприятных проблем, способы решения которой сейчас обсуждаются на внутреннем форуме: правильность указания критичности и типа дефекта. Увеличивая уровень критичности и подбирая тип, исполнители могут попытаться повысить свою прибыль. Как написал один из тестировщиков на форуме, на отдельных проектах до 35% бюджета израсходованно именно за счет завышенных показателей. В настоящее время с этим борются менеджеры проектов и представители заказчика, однако это добавляет им работы и, кроме того, иногда остается незамеченным. На новой версии платформы, которая вышла около месяца назад, эти параметры в меньшей степени влияют на оплату принятого дефекта, однако это не искореняет подобные манипуляции полностью.

Выгода для заказчика


Предыдущий раздел может, пожалуй, навести на мысль, что использование краудсорсинга неэффективно, однако это совсем не так. Главное – это заранее оценить все положительные и отрицательные стороны и найти правильный подход. Кроме того, сотрудники uTest заинтересованы в длительном сотрудничестве, так что они помогут разработать стратегию, максимально учитывающую потребности заказчика в первую очередь.

Обращаясь к сообществу вы получаете в свое распоряжение целую армию тестировщиков, готовую работать круглосуточно и обладающую практически всеми возможными устройствами и системами, доступными рядовому пользователю.

Проверка локализации проекта теперь не представляет ни малейшей сложности, ведь у вас есть доступ к носителям всех языков, которые оценят правильность перевода с учетом культурных особенностей именно той страны, на рынок которой планируется выход.

Проверку качества можно выполнить в самые сжатые сроки, ведь эти тестировщики готовы работать по ночам и без выходных (собственно, обычно в это время они и работают), лишь бы опередить своих коллег при занесении дефектов. С учетом того, что представлены все временные зоны, заказчик получает действительно непрерывное тестирование, так что отдав релиз в тестирование в пятницу вечером вы получаете отчет о проделанной работе уже в понедельник утром, при этом количество человеко-часов может быть практически любое.

Не секрет, что работая длительное время в одной компании, тестировщики, как и прочие специалисты, привыкают к определенным методологиям и подходам, при этом тестирование продукта получается несколько однобокое. В случае привлечения специалистов со всего мира, компания может увидеть свой проект сквозь призму, пожалуй, всех существующих школ и методологий и синтезировать максимально достоверную оценку качества. Также это позволит взглянуть свежим взглядом и увидеть те проблемы, к которым свои специалисты привыкли и не документируют.

Заказчик получает обратную связь от конечного потребителя еще до выхода на рынок, что может значительно сократить издержки, связанные с модернизацией после коммерческого запуска. Кроме того, в отличие от рядовых пользователей, которые могут не знать, чего же они на самом деле хотят или что им будет удобно, или не смогут объяснить свои потребности, отзывы будут писать профессионалы, делающие это каждый день и знающие особенности реализации существующих систем. Вполне может статься, что над тестированием продукта будет работать тестировщик конкурента, и он поможет сделать новый продукт, лишенный недостатков уже существующего!

Краудсорсинг очень удобен для компаний, разрабатывающих продукты для мобильных устройств. Поскольку многие такие устройства имеют свои уникальные характеристики, например, размер и разрешение экрана, объем памяти, частоту процессора, особенности платформы, то тестирование на всех устройствах, заявленных как поддерживаемые, может принести много головной боли. А что если нужно удостовериться в качественной работе многокомпонентного приложения в сетях разных мобильных операторов? Пожалуй, без краудсорсинга точно не обойтись. Необязательно прибегать к нему для тестирования каждой сборки, но перед выходом релиза проверить точно не помешает.

Остальные выгоды для заказчика будут вытекать из специфики его бизнеса, я же хотел бы отметить среди клиентов uTest такие известные бренды как Google, Microsoft, ICQ и Babylon. Более полный список можно найти на их сайте – www.utest.com/customers
Tags:
Hubs:
+26
Comments 47
Comments Comments 47

Articles