Опрос. Инструменты автоматизации тестирования

    Здравствуйте, уважаемые хабровчане!
    Мы с коллегой готовим для конференции доклад на тему автоматизации тестирования desktop-приложений. Ценность и полезность доклада возрастет, если мы сможем использовать в выступлении результаты опроса профессионального сообщества.
    Результатами поделюсь на Хабре.

    В основном, вопросы касаются инструментов, используемых в процессе тестирования ПО. Под инструментами тестирования подразумеваются: баг-трекинг система, система виртуализации, система сборки, система контроля версий, автоматизированные тесты.

    Есть три дискуссионных вопроса – на них можно ответить здесь, в комментариях.
    По ссылке http://www.surveymonkey.com/s/DJTFHFH – 10 вопросов с вариантами ответа. Вам потребуется не более 2,5 минут, чтобы ответить на них.

    Мероприятие состоится 20 мая, поэтому просьба ответить на вопросы анкеты до 18 мая включительно.
    Спасибо за участие!

    I. Свободное vs. Коммерческое (лицензионное) ПО

    Использование свободного ПО при тестировании (например, Bugzilla, VMware Server, SVN и т.д.) позволяет минимизировать инвестиции в используемые инструменты.

    А. На ваш взгляд, как это влияет на качество процесса тестирования?
    Б. В каких случаях в тестирование предпочтительно использовать свободное ПО?

    II. Тестирование desktop-приложений

    А. Приходилось ли вам автоматизировать тестирование desktop-приложений?

    Если да, с какими основными сложностями пришлось столкнуться?

    III. Общие вопросы и тестовый интсрументарий (10 вопросов с вариантами ответов =< 2,5 мин)
    http://www.surveymonkey.com/s/DJTFHFH

    P.S.
    Опрос продолжается, и результаты обещают быть репрезентативными – по состоянию на 12 мая ответили 123 человека. И что самое неожиданное, после того, как количество респлндетов перешагнуло за 100, я получаю такое сообщение при проверке результатов:

    Бессовестная Обезьянка для Опросов требует 25 евро, чтобы посмотреть результаты свыше ста респондентов – и это в разгар валютного кризиса в Беларуси!
    Продолжайте отвечать, прорвемся:)

    Upd. Результаты можно посмотреть в этом топике.
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама
    Комментарии 13
    • 0
      На счет использования коммерческого или свободного ПО — все зависит от того, какие технологии используются для создания десктоп приложений.
      Если это Windows приложение разрабатываемое в Visual Studio, IMHO, нет ничего лучше CodedUI тестов, которые можно организовать как unit tests и запускать сразу после билда. При чем все это можно легко автоматизировать

      По поводу виртуализации, разворачивал целую систему с различными скриптами/автозапусками и т.д.
      Главная проблема — установка/запуск программ удаленно на виртуальной машине при включенном UAC'е
      Можно использовать, конечно, silent install, если она конечно есть

      • +1
        Написал в анкете, напишу и тут.
        Мы разрабатываем весьма специфичные (узкоотраслевые) java приложения. Десктоп и Веб.
        Автоматизирована сборка билда (hudson) вместе с unit-тестами (JUnit4) и тестами интерфейса (QF-Test, коммерческий, Selenium — свободный). Тестируем на Xen и реальных машинах. Система контроля версий — git, на некоторых проектах Mercurial.
        Не автоматизировано открытие и закрытие багов. Багтрекинг — свободный Redmine. так же не автоматизирована установка системы.
        • 0
          Скажите, а этот вопрос без ошибки?
          «Если вы используете автоматизированное тестирование, какие операции вы выполняете вручную при тестировании выпущенного билда?»

          Потому как варианты ответа предполагают скорее вопрос «какие операции вы выполняете автоматически»

          Возможно я не прав, но этот вопрос меня заступорил. Даже скорее конечной целью, потому как много операций вручную делать приходится
          • +1
            Да, вопрос сознательно так сформулирован. Сочетание «автоматизированное тестирование» несет в себе элемент условности, потому что зачастую ряд перечисленных действий тестировщик выполняет вручную.
            По сути, цель этого вопроса — выявить уровень и глубину автоматизации.
          • +3
            В форуме тестировщиков был опрос на тему Какие инструменты вы предпочитаете — платные или бесплатные?

            Возможно также Вам будет интересно посмотреть фрагмент обзорного вебинара про инструменты тестирования.
            • 0
              Я напрямую тестированием не занимаюсь, но хотелось бы ознакомиться с результатами, как с опытом организации одного из этапов жизненного цикла ПО. Где можно?
              • +1
                Результаты анкеты опубликую на Хабре после 20 мая, если я правильно поняла ваш вопрос.
                • 0
                  Правильно… Спасибо
                  • 0
                    Обновила топик ссылкой на результаты.
              • +1
                У нас разрабатываются Веб-приложения, тест-сервера на VmWare, контроль версии и сборки обычно (если он есть) фиксируется в самом веб-приложении, сборка билда автоматизирована, собирается с svn. Большинство тестов делаем ручками — слишком частые обновления ПО(( Для автоматизации функционального тестирования — ТС, нагрузочное — JMeter
                • 0
                  Почему в списке систем контроля версий нет Mercurial?
                  • 0
                    При составлении вариантов ответа я старалась, чтобы список не превышал 4-6 наименований и включал в себя свободных и коммерческих «представителей». Наиболее часто встречающиеся интсрументы отражены (вероятно, не все), и есть поле Другое, где можно вписать. Если по результатам Mercurial окажется популярным, то при интерпретации результатов я его выведу из Другое отдельной категорией.
                  • 0
                    использовали бы просто Гугло Формы — они денех не просють)

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.