Инструменты для A/B-тестирования iOS-приложений


    В данной статье я рассмотрю несколько инструментов для A/B-тестирования мобильных приложений с примерами и дам их краткую характеристику. Для успешного проведения тестирования также необходим сервис аналитики, в котором можно сравнивать результаты. Независимые сервисы аналитики мы сегодня рассматривать не будем, но затронем те возможности, которые есть внутри инструментов, о которых пойдет речь.

    Что такое A/B-тестирование?
    A/B-тестирование — метод сравнения двух или более вариантов представления элементов сайта или мобильного приложения между собой с целью определить лучший из них и принять в качестве искомого в дальнейшем, чтобы в конечном итоге улучшить UX. Части пользователей демонстрируется версия сайта с одним расположением элементов на экране, остальным – с другим. Сравнение нескольких вариантов проводится одновременно в один и тот же период времени. Если вы подумываете о том, чтобы внедрить A/B-тестирование у себя на проекте, рекомендую почитать статью с массой полезных ссылок — от помощи в составлении тестов до оценки результатов. А вот в этом материале разобраны распространенные ошибки: недостаточно продолжительный промежуток времени для A/B-тестирования, пересечение экспериментов между собой, малая база пользователей и так далее.


    A/B-тестирование мобильных приложений


    Существует большое количество сервисов, позволяющих проводить A/B-тестирование сайтов, но если вы хотите использовать данный метод на мобильных приложениях, то здесь тоже есть из чего выбрать. Необходимый минимум для такого рода сервисов состоит из создания переменных и распределения их между аудиторией. На разработчиках приложения лежит обязанность правильно интерпретировать эти переменные: прямая замена текстовых и числовых данных в приложении, модификация интерфейса на основании значений.

    В некоторых сервисах есть удобный визуальный редактор, позволяющий без изменения приложения создавать различные вариации. Но функциональность таких редакторов всё-таки сильно ограничена, с помощью них, например, не получится изменить интерфейс какого-то экрана так, чтобы при других модельных данных этот экран отображался стандартным образом. Для фреймворка это будет один и тот же экран, и изменения будут применяться повсеместно.

    Перед нами стояла задача сравнить как текстовые варианты переменных (тексты ошибок, подсказок), так и изменение интерфейса приложения (например, наличие бокового меню и таббара). Из этого исходили при составлении нашего шорт-листа инструментов для A/B-тестирования. Все сервисы, о которых пойдет речь дальше, предоставляют SDK для iOS и Android, c Windows Phone сложнее, в этом случае использование сервисов возможно через HTTP-запросы.

    Apptimize


    apptimize.com
    image
    Есть три способа для создания варианта A/B-тестирования:
    1. Визуальный (создается с помощью визуального редактора).
      Позволяет в режиме реального времени с помощью визуального редактора изменить атрибуты элементов интерфейса (текст в UILabel, изображение в UIImageView). Измененное состояние будет новым вариантом:
      image

    2. Блоки кода.
      Позволяет варьировать выполнение операций, например:
      [Apptimize runTest:@"Dummy test" withBaseline:^{
         //Базовая конфигурация 
      } andVariations:@{@"variation1": ^{
          //Альтернативная конфигурация
      }}];
      

    3. Динамические переменные.
      Варианты формируются в зависимости от разных значений. Переменные объявляются вне класса с помощью макросов
      ApptimizeString(name, value), ApptimizeInt(name, value), ApptimizeDouble(name, value), ApptimizeBoolean(name, value), ApptimizeArrayOfStrings(name, value), ApptimizeDictionaryOfStrings(name, value), ApptimizeArrayOfInts(name, value), ApptimizeDictionaryOfInts(name, value), ApptimizeArrayOfDoubles(name, value) ...
      

      Альтернативные значения переменных задаются через веб-сайт. Например:
      ApptimizeString(screenName, @"стандартное значение");
      

      При создании вариантов есть возможность выбрать базу пользователей для тестирования.

      Фреймворк позволяет логировать события:
      [Apptimize track:@"event name"] 
      [Apptimize track:@"event name" value:<double value>] 
      

      Также возможна агрегация событий других сервисов аналитики: Google Analytics, Mixpanel, Flurry, Localytics, Omniture.

      Цена и количество пользователей: есть ограниченная бесплатная версия, 300$/месяц до 100 000 пользователей, выше — не указано.

    Optimizely


    optimizely.com

    Сервис предоставляет те же три способа создания вариантов:
    1. Визуальный


    2. Блоки кода
      [Optimizely codeBlocksWithKey:myCheckoutBlocksKey
                             blockOne:^{
      	// Первая конфигурация
          }
                             blockTwo:^{
      	// Вторая конфигурация
         }
                         defaultBlock:^{
      	// Базовая конфигурация
         }];
      

    3. Переменные
      OptimizelyVariableKeyForString(screenName, @"Hello");
      

      Как видим, возможности c Apptimize идентичные. На первый взгляд, визуальный редактор Optimizely чуть менее функционален. Optimizely возможно интегрировать с Fabric, но сервис имеет достаточно скудный инструмент для аналитики.


      Цена и количество пользователей: цены не указаны, есть ограниченная бесплатная версия.

    Mixpanel


    mixpanel.com





    Трекинг событий:
    [mixpanel timeEvent:@"Загрузка изображения"]; // Временное событие
    [self uploadImageWithSuccessHandler:^{
        [mixpanel track:@"Загрузка изображения"];
    }];
    

    Переменные в Mixpanel называются твиками (tweaks). Для получения твика используется макрос MPTweakValue:

    if( MPTweakValue(@"Выполнить альтернативную конфигурацию", NO) ) {
        // Выполнить альтернативную конфигурацию
    } else {
        // Выполнить стандартную конфигурацию
    }
    

    Есть биндинг значений для изменения параметров на лету:
    MPTweakBind(self.label, text, @"label text", @"Hello World");
    

    Применяется в случае, если при нахождении пользователя на экране нужно динамически менять значения переменных (иными словами реализуется KVO для них).

    Инструменты аналитики в Mixpanel достаточно хорошие, есть возможность выстраивать сложные фильтры, при этом используя дополнительные атрибуты, отправляемые с устройств.

    Визуальный редактор есть, но работает не очень стабильно и часто «отваливается».



    Цена и количество пользователей: можно выбрать вариант по количеству пользователей, либо по количеству событий за месяц. Например, 100 000 пользователей обойдутся в 250$, или за 350$ 2 миллиона событий.

    SplitForce


    splitforce.com

    Здесь есть работа с блоками:
    [[SFManager currentManager] experimentNamed:@"Имя эксперимента"
                            applyVariationBlock:^(SFVariation *variation) {
    	//Альтернативная конфигурация
    } applyDefaultBlock:^(NSError *error) {
    	//Базовая конфигурация
    }];
    

    И возможность отслеживать время событий:
    -(void)timedResultNamed:(NSString *)name;
    

    Визуального редактора нет, агрегации аналитики тоже. Встроенная аналитика достаточно удобная.

    Цена и количество пользователей: цены сопоставимы с прочими сервисами, например, 369$ за 150 000 пользователей.

    Amazon


    developer.amazon.com/appsandservices/apis/manage/ab-testing

    Главным преимуществом перед аналогами является его бесплатность. Для того, чтобы использовать функциональность A/B-тестирования от Amazon, необходимо добавить в проект фреймворк Amazon Insights.

    SDK предоставляет только «ручной» режим работы с проектами A/B тестирования:
    [self.abTestClient variationsByProjectNames:[NSArray arrayWithObject:@"Имя проекта"]
                              withCompletionHandler:^(id<AIVariationSet> variationSet, NSError* error) {
     			//Меняем что-либо исходя из данных в переменной variationSet
                              }];
     
        // Логирование события
        id<AIEvent> level3Start = [self.eventClient createEventWithEventType:@“Тип события"];
        [self.eventClient recordEvent:level3Start];
    



    На мой скромный взгляд, интерфейс слегка примитивный, но может, это и к лучшему.


    Общие выводы


    1. Все сервисы кроме Amazon платные, что в некоторых случаях может стать преградой для запуска A/B-тестирования на проекте.
    2. Все сервисы достаточно просты в использовании, внедрение в существующее приложение занимает минимум времени.
    3. Все сервисы работают асинхронно, поэтому не стоит ожидать моментальных откликов при низкой скорости соединения с интернетом.
    4. Некоторые из сервисов предлагают визуальный редактор. На практике, по моему мнению, вещь не так часто используемая.
    5. Те SDK, которые представляют доступ к переменным через макросы, ограничивают себя в использовании. Внутри макроса нельзя задать динамическое значение, следовательно, получать те или иные значения. Таким образом, слегка затрудняется A/B-тестирование на сущностях, представленных в приложении большим количеством: либо придется перечислить все возможные переменные, либо получать в одной переменной данные по сущностям и разбирать значение на составляющие.

    Сводная таблица


    Название сервиса Удобство встраивания (1-5 баллов) UI-редактор (1-5 баллов) Аналитика (1-5 баллов) Цена за месяц Поддержка (1-5 баллов) Общий балл
    Apptimize 4 5 4 300$ за 100 000 пользователей 4 17
    Optimizely 4 3 3 Не указано 3 13
    SplitForce 3 0 3 369$ за 150 000 пользователей 4 10
    Mixpanel 5 4 5 250$ за 100 000 пользователей или 2 миллиона событий за 350$ 5 19
    Amazon A/B Testing(Beta) 3 0 4 Бесплатно 3 10
    Используете ли вы A/B-тестирование в своих проектах?

    Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

    Redmadrobot 69,77
    №1 в разработке мобильных решений для бизнеса
    Поделиться публикацией
    Комментарии 0

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

    Самое читаемое