Компания
49,18
рейтинг
31 июля 2014 в 15:03

Разработка → Джентльменский набор тестировщика по версии ZeptoLab

Вступление


Как-то раз мы съездили на конференцию SQA days, где мне довелось попасть на доклад «Джентельменский набор тестировщика». Хотелось бы продолжить эту тему и рассказать о своих тулзах, облегчающих жизнь тестировщика.

Справедливости ради стоит отметить, что у нас, в Zeptolab, работает всего несколько QA Lead’ов, а всю основную работу проделывают аутсорсеры. Тем не менее, на нашу долю приходится обширный список обязанностей, требующий глубоких знаний о продукте, работе различных sdk и методов диагностики работы приложений.

Чтобы сильно не раздувать статью, я ограничусь лишь небольшим описанием работы инструментов. Если у вас возникнут вопросы — можем обсудить их в комментариях.


adb

Android Debug Bridge (Mac and Windows)


developer.android.com/tools/help/adb.html
Способ распространения: бесплатно

ADB идет в комплекте с Android SKD и способен выполнять множество задач, среди которых:
  • установка приложений (adb install)
  • удаление приложений (adb shell pm uninstall)
  • снятие логов (adb logcat)
  • запись видео с экрана устройств (adb shell screenrecord)
  • замер потребления памяти (adb shell dumpsys meminfo)

Пользоваться ей очень удобно, поскольку в терминале сохраняется вся история команд, и выполняются они на стороне компьютера. Это очень облегчает задачу, если вам достался дохленький HTC Desire, на котором добраться до меню настроек — уже большая мука.


xCode

Xcode (for Mac) / iPhone Configuration Utility (for Windows)


itunes.apple.com/ru/app/xcode/id497799835
support.apple.com/kb/dl1466
Способ распространения: бесплатно

Имеет такой же широкий функционал:
  • Установка приложений
  • Удаление приложений
  • Снятие креш-логов
  • Замер расхода памяти
  • Загрузка скриншотов/фотографий
  • Просмотр логов в real-time с устройства

В отличие от горячо любимого всеми iTunes, эти программы не проводят полной синхронизации для установки билда на устройство и экономят массу времени.


iExplorer

iExplorer (for Mac), iTools (for Windows)


www.macroplant.com/iexplorer
www.itools.ru
Способ распространения iExplorer: demo / license
Способ распространения iTools: бесплатно

Обе программы позволяют:
  • получить доступ к файловой системе устройств
  • устанавливать приложения
  • подменять файлы сейвов
  • загружать фотографии / скриншоты

Мы пользуемся ими, чтобы проверять пути сохранения сейвов, актуальность графики, отсутствие лишнего хлама в пользовательских директориях.


Device Any Where

Device Anywhere (Mac & Windows)


www.keynote.com/solutions/testing/mobile-testing
Способ распространения: 65 часов trial / далее почасовая оплата

  • Сервис позволяет удаленно вести ручное/автоматизированное тестирование приложений.
    Доступно около 400+ устройств.

Сервис достаточно дорогой, но выручает, когда приходиться искать баги на редких устройствах, которые нецелесообразно закупать в офис.



Reflector

Reflector (Mac and Windows)


www.airsquirrels.com/reflector
Способ распространения: trial / license

  • Программа позволяет снимать видео с экрана iOS устройств через AirPlay

Эта штука бывает очень полезна, когда баг проявляется всего на нескольких кадрах или же когда одного описания WTR не достаточно, чтобы понять, как воспроизвести баг.

Также мы пользуемся рефлектором, когда нас просят снять видео геймплея (для журналистов или презентаций).










Android File Transfer

Android FileTransfer (Mac only)


www.android.com/filetransfer
Способ распространения: бесплатно

  • Позволяет получить доступ к внутренней памяти android-устройств

Автоматически запускается при подключении android-устройства, к компьютеру. При отключении также самостоятельно закрывается.


Charles

Charles (Mac and Windows)


www.charlesproxy.com
Способ распространения: 30 days trial / license

  • Позволяет анализировать трафик, который генерит ваше устройство

Незаменимая программа, если ваше приложение должно работать через сервер или имеет встроенные рекламные sdk. Таким образом, вы можете отследить все исходящие запросы и то, что приходит в ответ.


HMA

HideMyAss (iOS, Android, Mac, Windows)


hidemyass.com
Способ распространения: подписка

  • Сервис предоставляет доступ к VPN-серверам в различных странах

Мы пользуемся этим сервисом для проверки качества рекламы в разных странах, а также некоторые Geo-based компоненты приложения.

Одним из его главных достоинств — приложения для Android и iOS, которые позволяют переключаться между странами, без ручного ввода ip-адреса серверов.

Также Adnroid пользователей может обрадовать то, что, используя приложение, можно обойти принудительную установку пароля для разблокировки устройства.



Что еще может оказаться полезным?


HMA
TeamCity, Jira, Confluence

www.atlassian.com
www.jetbrains.com
Способ распространения: trial / license

Если Jira и Confluence не требуют особого представления в IT-сфере, то с TeamCity сталкивалось куда меньше людей. В спайке с продуктами от компании Atlassian он значительно расширяет набор возможностей тестировщика:

Во-первых, есть возможность отслеживать из интерфейса, какие баги были исправлены в той или иной сборке.
Во-вторых, нет необходимости бегать за программистами с просьбой собрать билды.
В-третьих, решается проблема раздачи билдов. Вместо того, чтобы закидывать все на FTP, шарить внутри сети или отправлять билды почтой — мы просто обмениваемся номером ревизии нужного билда.

TestFlight
TestFlight

www.testflightapp.com
Способ распространения: бесплатно

Это очень простое и удобное решение, для проведения закрытых плей-тестов на раннем этапе разработки приложения.

Сервис позволяет:
  • рассылать билды «по воздуху»
  • собирать отзывы
  • смотреть отчеты по крешам приложения

Как многие слышали, Apple купили компанию-разработчика сервиса и объявили об интеграции TestFlight в AppStore. Думаю, вскоре сервис сервис станет незаменимым для экспериментов, в целях улучшения продуктов.

AppStore Google Play
AppStore и Google.Play

itunes.apple.com/ru/genre/ios-igry/id6014?mt=8
play.google.com/store/apps/category/GAME?hl=ru

Мы взяли за правило после выхода обновлений проводить повторное тестирование приложений на предмет успешного переноса прогресса, работы биллинга и прочих вещей.

Также в течение нескольких дней наши комьюнити-менеджеры следят за отзывами пользователей и в, случае обнаружения каких-либо критичных проблем, мы исследуем их и выпускаем хот-фиксы.

QIWI
QIWI кошелек

visa.qiwi.ru
Способ распространения: бесплатно

На этом сервисе у нас заведена карта VISA Virtual, через которую мы проводим все продакшн покупки (например в апдейтах, вышедших в live). Также он будет удобен, если вы держите отдельный аккаунт для покупок популярных игр, чтобы быть в курсе тренда игрового рынка.

Большим плюсом является, что терминалы всегда находятся в шаговой доступности, а за пополнение средств на qiwi кошелек комиссия не взимается.

Про инструменты в целом все, надеюсь, было полезно.

К слову — у нас сейчас имеется свободная роль на QA Lead-a, поэтому если есть желание окунуться в мирок тестирования ZeptoLab чуть глубже — шанс есть (описание тут)

В следующей статье расскажем, как мы наводили порядок в своем зоопарке 200+ мобильных устройств.
Не переключайтесь!
Открыли ли вы что-то новое для себя из статьи?

Проголосовало 147 человек. Воздержалось 203 человека.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Автор: @Mode
ZeptoLab
рейтинг 49,18

Комментарии (19)

  • 0
    Надо еще указать, что после покупки TestFlight, Apple начала оттуда выпиливать поддержку Android.
    И этот пункт можно заменить не менее продвинутым HocckeyApp
    • 0
      Спасибо за дополнение!
      Безусловно, есть большой выбор альтренативных сервисов.
      К слову, в самом Google Play, есть встроенная поддержка A/B testing.
    • 0
      или еще не менее продвинутым Beta on Crashltyics.
  • 0
    не нашел TeamCity на https://www.atlassian.com/software
    • 0
      Спасибо за ваш комментарий!
      TeamCity — разработка компании JetBrains, ссылку добавил к статье.
      • 0
        пожалуйста)
        меня сразу смутила эта фраза в тексте статьи т.к. сам пользуюсь TeamCity от JetBrains
  • 0
    del
  • 0
    Интересная подборка, спасибо. Думаю, стоит упомянуть о Network Link Conditioner, позволяющем эмулировать различные виды интернет-подключения и проблемы связи. Он бесплатно закачивается через Xcode (для эмулятора), либо сам появляется в настройках iOS-устройства, если поставить для него галочку «Use for Development» в органайзере Xcode-а.

    // Я так понимаю, что в статьях для тестировщиков обязательно должны присутствовать специально внедренные баги, чтобы было интереснее читать? Причем большими жирными буквами, чтобы только наметанный глаз заметил =) (в заголовке написано «тестировщКика» и «джентЕльменский»)
    • 0
      Да, Network Link Conditioner хорошая штука, но я его не стал включать в статью, поскольку он скорее используется для разработки под Mac OS. А вот про мобильную функцию — обязательно включу в статью. Спасибо!

      // Это было сделано непредумышленно. Спасибо, что отметили :)
      • 0
        Charles, как написано на сайте, тоже умеет эмулировать медленные подключения. Я его именно по этой фиче знал (но не использовал), а не только как просмотр логов.
  • 0
    По части Андроид — даже странно, что не упомянут Eclipse, который с Andrid SDK Eclipse и Memory Analysis крайне полезная штука. Причем абсолютно бесплатная. Позволяет снимать логи, создавать фильтры для списка логов, получать массу информации о работе приложения (в дебаг-сборке, а на рутованном девайсе — и для релизных), сетевом трафике.
    Есть и uiautomatorviewer тоже из android sdk. Позволяет получить модель всех элементов интерфейса приложения на экране аппарата: расположение, свойства.

    Есть еще софт для установки на сам аппарат, но это тема отдельной статьи.
    • +1
      Согласен, можно было бы упомянуть и их. Однако, это все те же функциональные возможности adb, но в UI обертке.
      А консолька и открывается быстрее, и экран нагружает меньше.
      В Update статьи, обязательно включу. Спасибо!
  • +1
    После закрытия TestFlight в будущем всем однозначно рекомендую HockeyApp.
  • 0
    Еще хороший сервис для тестирования Android приложений на реальных устройствах — testobject.com/.

    Автоматические тесты можно запускать на appthwack.com/ или testdroid.com/
  • 0
    Оч круто ребят :) Классно что наш с Андрюхой доклад был полезен, особенно для людей из такой клевой компании :)
    • 0
      Спасибо, что вдохновили :)
  • 0
    А что вы используете для разработки Android-приложений? ADT/Eclipse вроде как устаревает, но Android Studio и IDEA не очень дружат с NDK/C++. Вообще очень интересно, чем нативный код на андроиде отлаживаете.
    • +1
      Здравствуйте!
      Мы используем Eclipse, в нем же и отлаживаем нативный код.
      • 0
        Большое спасибо!

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка