Мне давненько хотелось вживую «пощупать» Microsoft Visual Studio Test Professional. Все-таки это продукт, позиционируемый Microsoft как основная платформа для тестирования программ, создающихся в Visual Studio (а это мой главный рабочий инструмент). Да и чего уж тут греха таить, к стати подвернувшийся конкурс от Microsoft тоже не оставил меня равнодушным. Прошу заранее простить мой несколько «ламерский» взгляд на предмет статьи — сам я программист, а не тестер, и могу неверно употреблять некоторые термины (а иногда и вовсе пороть бессовестную чушь).
О чем вообще речь?
Microsoft Visual Studio 2010 Test Professional, как написано на официальном сайте, это «специализированный набор средств для групп контроля качества, который упрощает планирование и выполнение ручных тестов». Ни больше ни меньше. Это не багтрекер, не система непрерывной интеграции, не средство разработки, не среда разработки юнит-тестов (хотя VS Test Professional активно взаимодействует со всем вышеперечисленным). Это то, что поможет составить тест-планы, навести в них порядок, назначить их конкретным людям и контролировать их выполнение. Плюс немножко автоматизации, немножко средств коммуникации тестеров и программистов, немножко формализации процедуры тестирования и еще кое-каких вещей.
Где взять?
Для того, чтобы запустить VS Test Professional нам понадобятся:
- Team Foundation Server (trial можно скачать тут )
- Visual Studio Team System 2010 (trial можно скачать тут )
- Сама VS Test Professional — (trial можно скачать тут )
Установка
Устанавливать все эти продукты можно как на один компьютер, так и на разные (но они должны быть в сети друг с другом). Загрузка, установка и настройка всех трех продуктов заняла у меня фактически целый день. Ничего сложного, просто долго. Это может отпугнуть желающих «мимолетом взглянуть» на продукт. В качестве защитного аргумента стоит сказать, что в реальной жизни установкой этих трех продуктов занимаются разные люди, в разное время и сделать это нужно всего один раз.
Замечание из-за угла
По ходу установки я нашел 5 багов в инсталляторе VS Test Professional:
- Сообщение о том, что нужно ввести 25-значный код, хотя никакого кода для trial-версии никуда вводить не надо (его и некуда вводить)
- Странное окно выбора папки установки, нарушающее принципы повторного использования кода (в Windows есть свое окно выбора папки), Microsoft Guide по созданию интерфейсов и принцип симметричности функций программы (создать папку из диалога можно, удалить или переименовать — нельзя).
- По окончанию установки показывается такое вот окно:
По клику на «Файл сведений» в IE открывается окно со ссылкой, при клике на ней в Firefox (мой браузер по-умолчанию) открывается сам файл. Неужели нельзя придерживаться одной политики — или везде IE или везде default-браузер? Зачем мне два браузера для чтения одного файла? - В том же окне есть еще одна ссылка — «Сведения по безопасности». А ведет она на тот же «Файл сведений», в котором о безопасности ни слова. Либо баг в линке, либо в документе.
- Мой любимый баг, о котором я уже писал почти год назад:
Ну и ладно. Мелочи это всё.
Начало работы
Перед запуском VS Test Professional нам нужно с помощью Visual Studio Team System приконнектиться к Team Foundation Server и создать там общий проект (ну а то нафига же мы эти программы ставили?). О том, как это сделать, есть целая куча хороших статей, ну вот хотя бы даже вот эта. Если этого не сделать — VS Test Professional просто не позволит нам работать, поскольку первое, что требуется сделать после её запуска — выбрать TFS сервер и проект на нем, который мы будем тестировать. Потом создаётся тест-план для проекта. Тест-планов может быть несколько.
Замечание из-за угла
Русификация продукта оставляет желать лучшего — надписи кое-где не влезают, ошибки в вводимом тексте проверяются без учета словаря русского языка(хотя сам продукт позиционируется как русифицированный)
Главное окно
Не похоже ни на что. От Internet Explorer ему достались кнопки навигации, от Visual Studio — цветовая гамма и принцип «дерево проекта слева — рабочая область справа», от офиса — подобие риббон-баров в заголовке. Первые впечатления от окна — «помесь бульдога с носорогом» и «почему было просто не сделать аналог Visual Studio». Однако со временем приспосабливаешься и становиться даже удобно.
Делится главное окно на 2 основные части: Центр тестирования и Центр лабораторий. О них детальнее.
Центр тестирования
Это окно, где можно добавить к проекту новые баги, задачи, тест-кейсы и т.д. Порядок работы в нем в принципе определяется порядком вкладок в верхней части окна.
1. Создаем тест-кейсы на вкладке «План».
В каждом тест-кейсе описываем, что он проверяет, что нужно сделать, кому он назначен, каковы критерии успешного прохождения теста и его провала и т.д. Объединяем тест-кейсы в наборы.
Замечание из-за угла
Как видно по скриншоту, помесь русского и английского языка дичайшая. В целом, это стиль всего приложения, а не только данного окна.
2. Запускаем наборы тестов на вкладке «Тест»
Под «запуском» подразумевается переход в режим старта ручного воспроизведения тестов. Окно Test Manager сворачивается в узку полоску слева экрана, запускается тестируемое приложение, а сам Test Manager показывает действия, которые должен выполнить тестер. Каждое действие обозначается как пройденное или не пройденное.
На этом этапе можно немного автоматизировать процесс. Если перед запуском нажать кнопку «Создать запись действий», то среда тестирования запишет все действия тестера и потом сможет воспроизвести их.
После окончания теста Test Manager собирает информацию, которую запросил создатель тест-кейса. Это могут быть скриншоты действий тестера, видео, системная информация и некоторые другие вещи. Все это «подшивается» к проекту и впоследствии может быть использовано программистом для воспроизведения ошибки и её исправления.
3. Работаем с данными на вкладке «Отслеживание»
Третья вкладка окна центра тестирования предназначена для поиска определенной информации (тест-кейсов, задач, багов и т.д.) по определенным параметрам. Используется простой Access-подобный конструктор запросов к TFS-серверу. Просто и понятно, но как-то не очень изящно.
4. Создаем и настраиваем тест-планы на вкладке «Настройка»
Если в проекте больше одного тест-плана — они создаются и настраиваются здесь.
Центр лабораторий
Я достаточно долго разбирался, что такое Центр Лабораторий. Даже справку читал. Она, к стати, на русском языке и местами достаточно внятная, хотя порой встречаются такие перлы как:
«Для среды необходимо задать контроллер тестирования. Каждый компьютер с агентом тестирования, зарегистрированный на этом контроллере, называется компьютер и доступен для использования в среде.»
Компьютер называется компьютер. Ценная информация. Капитан Очевидность одобряет.
Если коротко, то Центр Лабораторий позволяет определить набор сред тестирования (среда = аппаратная + программная конфигурация), на которых мы хотим проводить тестирование нашего проекта. В качестве среды тестирования может выступать реальный физический компьютер со специально установленной программой (агентом тестирования) или виртуальная машина. Центр Лабораторий позволяет гибко конфигурировать такие среды, контролировать запуск тестов на них, получать результаты тестирования и т.д.
Пара замечаний
Интерфейс программы (ну по крайней мере его русская версия) создает впечатление недоработанности. Вот, к примеру, пара окон, возникающих по ходу работы:
В этом окне есть кнопка справки — но она не работает. Плюс странные названия кнопок вместо стандартных «Ок» и «Отмена».
При удалении из тест-кейса вложенного файла выскакивает такое вот окно. Явная ошибка в заголовке — должно быть «вопрос» или «подтверждение» — а вовсе не ошибка.
Оцените размеры стандартных кнопок «Ок», «Отмена», «Да» и «Нет» в трех диалоговых окнах, вызываемых с одной и той же вкладки программы. Они все разные.
Выводы
Продукт оставил у меня неоднозначные впечатления.
С одной стороны — очень хорошо продумана система проведения тестирования, его формальная процедура, требования к предоставляемой по ходу тестирования информации и т.д. Видно, что люди реально думали как сделать продукт, позволяющий большой группе программистов и тестеров эффективно взаимодействовать. Все логично и на своих местах.
С другой стороны — наплевательское отношение к интерфейсу и локализации, высокие системные требования (на моем ноутбуке конфигурации 2 Gb RAM\ 2 GHz двухъядерный процессор некоторые окна открываются по 10-15 секунд, при том что обычная студия работает нормально), ориентированность только на большие проекты (для небольших затраты на поддержание инфраструктуры проекта и цена продукта будут слишком большими).
VS Test Professional, безусловно, имеет свою нишу на рынке, но сказать, что он подойдет всем и закроет все задачи по тестированию будет неверно.