Считать пользователей на объявленном этапе

Sample ratio mismatch, сокращённо SRM, - статистически заметное расхождение наблюдаемого соотношения групп с заранее заданным. В материале Microsoft Research 2020 года такая проверка предшествует оценке эффекта. Среди причин рассматривается потеря нужных наблюдений после назначения варианта.

Для рекламного теста сначала называют единицу распределения: человек, устройство, регион или другая согласованная единица. Число показов не заменяет число назначенных пользователей. Один человек может дать несколько показов, и более частые возвращения в варианте B способны изменить соотношение событий без ошибки случайного назначения.

Полезно сохранить отдельные уровни: кому назначен вариант, кто получил его, чьи события приняты и кто остался после фильтра анализа. SRM может возникнуть только на позднем уровне. Проверка одного конечного отчёта тогда не объяснит, был ли дефект в распределении или в последующей обработке.

Неравенство само по себе ещё не ошибка

При случайном назначении 50/50 итоговые числа не обязаны быть буквально одинаковыми. Разница 104 и 96 в двухстах наблюдениях может укладываться в обычное колебание. Чтобы говорить о подозрительном расхождении, нужен заранее выбранный способ проверки, а не раздражение от несимметричной таблицы.

Пособие San José State University объясняет точный биномиальный тест и смысл p-value. Это вероятность получить наблюдаемые или более экстремальные данные при заданной гипотезе. Она не является вероятностью того, что распределение «сломано», и не показывает величину рекламного эффекта.

В нашем учебном калькуляторе выбран фиксированный двусторонний биномиальный тест для ожидаемых 50/50. Он проверяет один заданный набор независимых единиц. У инструмента ограничен объём ввода, а демонстрационный порог 0,01 выбран заранее только для примера. Это не универсальная политика остановки любого рекламного эксперимента.

Проверить два учебных набора

В CSV два независимых вымышленных проекта. В каждом исходно назначено по двести единиц в A и B. В первом до анализа дошли 150 и 50, во втором 104 и 96. Эти значения описывают уже отобранный набор, поэтому сами по себе не подтверждают исправность исходного механизма назначения.

На каком этапе группы разошлись. Считаются независимые единицы выбранного этапа, не покупки и не конверсии.
Считаются независимые единицы выбранного этапа, не покупки и не конверсии.

Для первого набора наш фиксированный тест даёт p-value около 0,0000000000008393, для второго - около 0,6207. Первый требует расследовать состав анализируемой базы по выбранному порогу. Во втором такого сигнала нет. Отсутствие сигнала SRM не доказывает ни равенство качества креативов, ни полную корректность эксперимента.

Перекос проверяют до выбора победителя. Результат собственного расчёта на учебных данных. Не воспроизводит sequential chi-squared Amplitude.
Результат собственного расчёта на учебных данных. Не воспроизводит sequential chi-squared Amplitude.

Калькулятор позволяет изменить числа и увидеть результат. Он не принимает конверсии вместо размеров групп и не выбирает рекламного победителя. Если ввести повторные показы как независимых людей, арифметика выполнится над неверно названной единицей. Исправить смысл данных одним статистическим методом нельзя.

Найти первый расходящийся этап

Проверка начинается с журнала назначения: не изменялись ли веса, не переходил ли человек между вариантами, одинаково ли определена доступная аудитория. Затем сверяют получение варианта и запись события. Последними проверяются фильтры, окно анализа, авторизация и правила удаления повторов.

В документации Amplitude описаны, в частности, изменение весов, пропущенные exposure и переходы между вариантами. Продукт использует последовательный вариант критерия хи-квадрат. Наш фиксированный биномиальный калькулятор его не воспроизводит; общий учебный порог не делает алгоритмы одинаковыми.

Важно не проверять результат много раз с произвольной остановкой и затем трактовать каждый запуск как единственную заранее заданную проверку. Для постоянного мониторинга нужна подходящая последовательная процедура и согласованная политика сигналов. При разборе одного завершённого учебного набора условия проще, и именно ими ограничен наш инструмент.

Для российского бренда полезный первый шаг - запросить размеры групп на каждом уровне и даты применения фильтров. Аналитик находит первый расходящийся этап, разработчик проверяет событие, владелец теста решает, можно ли восстановить исходную базу. Удалять лишних пользователей ради красивых 50/50 без основания нельзя: так можно добавить новый отбор.

К оценке эффекта возвращаются, когда объяснили расхождение состава групп и проверили остальные предпосылки. Смежные задачи разобраны в выборе регионов эксперимента, разделении креатива и таргетинга и проверке эффекта при малом числе покупок. Определения baseline, holdout и инкрементальности связаны с темой измерения.