Это 21-й день моего участия в августовском испытании обновлений.Подробности о событии:Испытание августовского обновления
Тест AB - центральная предельная теорема, проверка гипотез, z-распределение, t-распределение
Что такое A/B-тестирование
A/B-тестирование заключается в оценке эффекта модели/проекта, настройке нескольких версий на стороне приложения/ПК в одном и том же измерении – пусть группы посетителей с одинаковым (похожим) составом случайным образом посещают эти версии и собирают пользователей каждой группы.Используйте данные и бизнес-данные, и, наконец, проанализируйте и оцените лучшую версию для официального принятия.
Весь процесс АБ-тестирования: группировка тестов, проведение тестов, анализ результатов
Интуитивно: группировка — самая легкая часть всего теста, на самом деле — самая важная часть теста
Познакомить с методами группировки часто используемых тестов AB.
- Группировка по номеру устройства, хвостовому номеру, уникальному идентификатору пользователя/другим признакам [конечный номер нечетный/четный]
- На основе этих уникальных идентификаторов - хешируйте по модулю и ведро уникальный идентификатор пользователя с помощью фиксированной хеш-функции и равномерно распределяйте пользователей по нескольким тестовым ведрам - это может дополнительно разбивать пользователей и улучшать эффект группировки.
Одни и те же пользователи могут быть источником данных для нескольких испытаний одновременно — группировка учитывает весь спектр текущих испытаний.
Перед лицом нескольких параллельных экспериментов, как обеспечить рациональность группировки?
Все пользователи - до начала эксперимента - разделены на разные домены - пользователи в разных доменах не зависят друг от друга, пересечение пусто
Некоторые из наиболее важных экспериментов - Предназначены для подмножества пользователей - Никакие другие эксперименты не будут проводиться с этими пользователями во время проведения эксперимента - Эксклюзивные домены
Общий домен — Пользователи в домене будут проводить несколько наборов тестов AB одновременно — Рассмотрите возможность разделения — Каждое испытание как отдельный уровень — Упорядочивайте испытания от верхнего к нижнему уровню в зависимости от того, когда они начинаются — Испытания нижнего уровня При группировании необходимо чтобы разбить пользователей, которые тестируют каждую группу в предыдущем слое
Не проводите слишком много экспериментов на одном и том же общем домене одновременно.
Как полностью доказать случайность группировки теста AB?
В тесте AB - введение теста AA - дополнительно гарантирует случайность группировки.
При окончательной проверке результатов сначала убедитесь, что тест АА пройден, чтобы обеспечить рациональность группировки, а затем посмотрите, проходит ли тест АВ; если тест АА не пройден, результат теста АВ не имеет значения.
Кратко опишите теоретическую поддержку теста AB
Основной принцип теста AB — центральная предельная теорема — когда количество данных достаточно велико, можно считать, что среднее значение выборки приблизительно подчиняется нормальному распределению. Объединение содержания проверки гипотезы, отклонение/принятие нулевой гипотезы
Как доказать, что коэффициент конверсии пользователей новой версии выше, чем коэффициент конверсии пользователей старой версии с помощью AB-тестирования?
Образцы того, размещают ли пользователи новой и старой версии заказ, записываются как x1 - xn и y1 - yn, а окончательный заказ записывается как 1, в противном случае он записывается как 0. По мере увеличения размера выборки распределение среднего значения X, Y приближается к N (μ, σ²/n).
Поскольку в группировке гарантируется взаимная независимость средних X и Y, значит, X означает - Y означает ~ N(x означает - y означает, sx²/(n-1)+sy²/(n-1))
Средние значения X и Y представляют коэффициент конверсии пользователей новой и старой версии соответственно, доказывая, что коэффициент конверсии пользователей новой версии выше, чем коэффициент конверсии пользователей старой версии. Нулевая и альтернативная гипотезы заключаются в следующем:
H0: Коэффициент конверсии пользователей новой версии ниже/равен коэффициенту конверсии пользователей старой версии.
H1: Коэффициент конверсии пользователей новой версии выше, чем коэффициент конверсии пользователей старой версии.
Отклонив H0, приняв H1 — Докажите, что коэффициент конверсии пользователей новой версии выше, чем коэффициент конверсии пользователей старой версии.