Как спорить про результаты A/B тестирования

Вроде бы факторный анализ и A/B-тестирование – это про разное, по крайней мере в википедии в статьях про их связь ничего не сказано. Факторным анализом люди точно занимаются, и в старом смысле (PCA) и в новом (autoencoders, нейросети для вычисления latent variables).

Если же речь про факторный анализ самих метрик – это интересный вопрос, ничего про это не слышал. Действительно, можно рассмотреть сотню имеющихся метрик в системе A/B тестирования, взять тысячу последних экспериментов и подвергнуть эти данные факторному анализу, чтобы выявить зависящие друг от друга метрики и построить множество скрытых независимых метрик. Возможно, даже удастся получить новые более чувствительные метрики.

Про воспроизведение экспериментов тоже не понял вопрос. Воспроизводимость экспериментов – это то, на чём основан сам метод A/B тестирования – когда мы шипаем в прод, мы верим, что воспроизведутся те результаты, которые мы видели в эксперименте. Эксперименты иногда повторяют, и иногда они показывают те же результаты, а иногда другие из-за изменившегося контекста или из-за того, что ошиблись в сетапе эксперимента тогда или сейчас.