Какую проблему решает предыстория

Пользователь, который часто просматривал товары до эксперимента, может остаться активнее других и во время теста. Эта разница создаёт разброс числовой метрики внутри каждой группы. Если предыстория связана с будущим результатом, часть такого разброса можно описать до того, как разбирать эффект рекламы.

В CUPED результат корректируют с помощью предэкспериментального признака. Важны его связь с метрикой и отсутствие влияния изучаемого воздействия на сам признак. Microsoft Research объясняет, как использование предыстории может уменьшать дисперсию оценки и от чего зависит выигрыш. Общего обещания сократить любой тест на определённое число дней из этого не следует. Microsoft Research, variance reduction

Метод применяется после корректного распределения условий. Если вариант A показывали одним покупателям, а B другим по решению алгоритма, сама корректировка не создаёт рандомизированный эксперимент. Сначала разберитесь, что именно сравниваете и на каком уровне назначались группы.

Что считать признаком до эксперимента

Для учебной задачи возьмём число товарных действий пользователя до назначения группы. Результат Y означает число таких действий в выбранном окне теста. Обозначим историю как X. Все восемь пользователей имеют историю, а окна определены заранее. Пример показывает арифметику числовой метрики и не описывает реально проведённую рекламную кампанию.

В рабочей системе важно определить момент назначения для каждой единицы. Если один пользователь вошёл в тест утром, а другой вечером, их предыстория должна закончиться до соответствующего назначения. Действия за весь день назначения могут включать события после начала воздействия. Такое окно для предыстории не подходит. Сохраните точные границы и связь с единицей распределения.

Число кликов на тестируемое объявление после запуска не подходит в качестве исходной предыстории. Оно уже зависит от варианта, который получил пользователь. Смешение данных до воздействия и после него меняет смысл оценки. Для каждого признака аналитик должен уметь показать источник и момент, к которому он был известен.

Как устроен учебный расчёт

В CSV у каждой группы четыре единицы с X равным 10, 20, 30 и 40. Общее среднее X равно 25. Исходные результаты контроля составляют 9, 12, 19 и 20, среднее 15. Для теста это 12, 18, 20 и 26, среднее 19. Разность средних равна четырём действиям.

Для примера зафиксируем коэффициент 0,42. Из каждого Y вычитаем произведение 0,42 на разницу его X и общего среднего 25. Для первой контрольной строки получим 15,3: исходный результат 9 увеличивается на 6,3, поскольку её X ниже среднего на 15. Для последней контрольной строки результат 20 уменьшается до 13,7.

Скорректированные значения контроля равны 15,3, 14,1, 16,9 и 13,7. У теста получаем 18,3, 20,1, 17,9 и 19,7. Средние остаются 15 и 19, разница по-прежнему четыре. В этом наборе история сбалансирована между группами, поэтому корректировка не сдвигает среднюю разницу.

Выборочная дисперсия контроля снизилась с 28,67 до 2,07, теста с 33,33 до 1,13. Её здесь считаем как сумму квадратов отклонений от среднего, делённую на три: в группе четыре наблюдения. Числа внутри групп стали ближе друг к другу. Конечная цель метода состоит в уменьшении стандартной ошибки оценки эффекта, то есть её статистической неопределённости. Пример помогает понять его назначение: часть разброса объясняется заранее наблюдаемой активностью. Восемь строк служат демонстрацией. По ним мы не объявляем эффект статистически значимым и не рассчитываем срок нужного рекламного теста.

Где взять коэффициент

В простой линейной модели коэффициент получают делением ковариации результата и предыстории на дисперсию предыстории. Ковариация описывает совместное изменение двух показателей. Для учебных восьми строк такое вычисление даёт 0,42. В реальном исследовании способ оценки, набор признаков и порядок расчёта должны быть частью заранее согласованного анализа.

Не подбирайте коэффициент вручную ради наиболее убедительного различия вариантов. Аналитик должен повторить оценку по зафиксированному коду и данным. Если метод использует более сложную модель предсказания, отдельно опишите обучение, проверку качества и защиту от выбора выгодного анализа после просмотра эффекта. Само вычисление коэффициента по данным теста в принятой процедуре не равно такому выбору. Название CUPED не заменяет эти решения.

У готовых продуктов могут быть собственные ограничения. Optimizely, например, описывает требования к истории, выбору признака и поддерживаемым числовым метрикам своей реализации. Такие настройки помогают проверить доступный инструмент, но не являются универсальным описанием всех методов уменьшения дисперсии. Optimizely, CUPED

Что делать с новыми пользователями

У части аудитории предыстории нет. Отсутствующее наблюдение и подтверждённый ноль активности различаются. В первом случае пользователь мог быть новым для системы или его не удалось связать с историей. Во втором система наблюдала выбранное окно и не зафиксировала действий. Не превращайте оба случая в одну категорию без описанного правила.

Сохраните долю пользователей с доступной историей по каждой группе. Затем проверьте, не зависит ли попадание в анализ от самого воздействия. Например, если идентификатор появляется только после входа в аккаунт, а реклама влияет на вход, выборка с историей может изменить состав уже после назначения.

Для рабочего отчёта покажите, какую аудиторию охватывает скорректированная оценка и как обработаны остальные единицы. Иногда разумно оставить исходный анализ для всей выборки и отдельный согласованный анализ для наблюдаемой части. Выбор зависит от задачи. В любом случае читатель отчёта должен видеть изменение состава.

Что остаётся за пределами корректировки

CUPED не исправляет пропущенные продажи, смешение разных окон и ошибку ключа пользователя. Если из варианта B потерялось больше событий, корректировка по прошлой активности может дать аккуратные числа на неполной основе. Проверки полноты и соотношения групп выполняются раньше выводов об эффекте.

Отдельно проверьте единицу распределения. При назначении на магазин или регион строки отдельных пользователей могут быть зависимыми. Анализ должен учитывать устройство эксперимента. Нельзя взять формулу для независимых пользовательских наблюдений и автоматически распространить её на любое кластерное сравнение.

Сезонность тоже требует осторожности. Период до распродажи может слабо предсказывать поведение во время неё. Выбранный признак нужно проверить на подходящей истории и затем наблюдать, сохранилась ли ожидаемая связь. Слабая связь означает небольшой выигрыш, а не необходимость бесконечно усложнять корректировку.

Как принять расчёт у аналитика

Попросите показать исходную и скорректированную метрики рядом. Для каждой нужны число единиц, состав аудитории, оценка разницы и согласованная оценка неопределённости. Сохраните границы предыстории, формулу, коэффициент и версию кода. Тогда при обновлении данных можно будет понять, почему изменился результат.

На учебном наборе проверяется арифметика. В рабочем наборе добавьте тест без ожидаемого воздействия и проверьте процедуру на исторических данных с повторным случайным распределением. Такой прогон помогает выявить ошибки анализа до решения о медиабюджете. Он сам по себе не доказывает, что будущая реклама даст положительный эффект.

Полезно заранее установить, какой анализ будет основным. Если после просмотра результата выбрать между несколькими вариантами корректировки, риск ошибочного вывода возрастёт. Дополнительные оценки можно показывать как диагностические, сохраняя исходный план и причины отклонений от него.

Пилот для российской команды

Для первого применения выберите рандомизированный тест с числовой метрикой и понятной историей. Аналитик подтверждает временные границы, разработчик проверяет ключи и полноту событий, владелец рекламы формулирует деловой результат. Участники заранее решают, как обрабатываются новые пользователи и когда анализ останавливается.

Сравните итоговую разницу и разброс оценки при принятом методе. Если выигрыш мал, исходный анализ может быть достаточно удобным. Если корректировка помогает, включите её в повторяемую процедуру с проверками данных. В учебном стенде CUPED можно переключить коэффициент и увидеть, что происходит с теми же восемью строками.

Проверку назначения групп продолжает разбор перекоса A/B. Для небольшого объёма данных полезен материал об инкрементальном тесте, для множества вариантов разбор сравнений креативов. Определения есть в глоссарии.