Двадцать покупок против двадцати четырёх
Предположим, 4 000 независимых участников случайно разделили поровну. Для одной группы включили проверяемую рекламу, для другой сохранили согласованное условие без неё. За полный период наблюдения в контрольной группе купили 20 из 2 000 человек, в тестовой 24 из 2 000. Условия вымышлены; это не кейс рекламной платформы.
Доли покупок составляют 1% и 1,2%. Разница равна 0,2 процентного пункта, относительный рост 20%. Обе записи описывают одни данные, но не сообщают, насколько устойчив результат. При повторении случайного разделения итог мог бы измениться даже при том же истинном эффекте.
Для этих учебных условий простая нормальная оценка даёт 95-процентный доверительный интервал разницы примерно от минус 0,45 до плюс 0,85 процентного пункта. Это приближённый расчёт для независимых наблюдений, без поправок на кластеры, многократные проверки и потери данных. Он показывает масштаб неопределённости; для итогового анализа редких событий аналитик выбирает подходящий метод интервала заранее.
Ноль находится внутри интервала. Поэтому утверждать доказанный рост по этому примеру нельзя. Но и вывод «реклама не работает» был бы чрезмерным: данные допускают положительный эффект, который бизнес мог бы считать полезным. Различать отсутствие доказательства и доказанное отсутствие особенно важно в кампаниях с дорогими редкими покупками.

Выберите разницу, ради которой стоит принимать решение
До старта запишите минимальный эффект, который изменит решение о бюджете. Если увеличение доли покупок с 1% до 1,2% уже окупает размещение, планировать тест следует под такую разницу. Если бизнесу нужен рост до 2%, это другая задача с другим необходимым объёмом.
В учебных материалах Penn State о мощности и размере выборки размер связан с ожидаемыми долями и выбранными параметрами проверки. Для нашего приближённого расчёта берём двусторонний уровень значимости 5%, мощность 80% и равные группы. Мощность здесь означает вероятность обнаружить заданный эффект, если он существует в принятой модели.
Подставление 1% и 1,2% в стандартную нормальную формулу для двух долей даёт около 42,7 тысячи участников на группу, всего около 85,4 тысячи. Это ориентир планирования, не гарантия успешного теста и не универсальный минимум для рекламы. Поправка на потери, связь наблюдений или иной метод может увеличить необходимый объём.
В CSV с учебными параметрами сохранены доли, числа покупок, границы приближённого интервала и допущения расчёта. Заменять долю покупок на долю кликов ради меньшей выборки можно только после смены вопроса исследования. Тест кликов не доказывает дополнительную прибыль.
Один человек должен попадать в одно условие
Случайно распределяют единицы эксперимента: людей, домохозяйства или территории. Показы одного человека не становятся независимыми участниками только потому, что их много. Если рекламу включают по городам, расчёт по отдельным заказам без учёта связи внутри города завысит уверенность.
Выбор плана зависит от цели и факторов; эту связь описывает справочник NIST по экспериментам. Для российской команды практическая задача состоит в доступном механизме разделения аудитории и измерения результата. Если площадка не позволяет создать корректное сравнение, нужно выбрать другой план вместе с аналитиком, а не назвать обычный отчёт экспериментом.
Сравнивать увидевших рекламу с неувидевшими после кампании опасно. Показ мог зависеть от активности, интереса и вероятности покупки. Тогда разница отражает отбор аудитории вместе с рекламой. При случайном назначении основное сравнение сохраняет исходные группы, даже если не каждому назначенному участнику удалось показать объявление; причины недоставки анализируют отдельно.
Если аудитории заведомо недостаточно
Проверьте реалистичный срок накопления участников и полное время до покупки. Продление теста помогает только пока условия остаются сопоставимыми и участники действительно добавляются. Нельзя бесконечно продлевать эксперимент и останавливать его в первый удачный день. Для досрочной остановки нужен заранее выбранный метод анализа, который учитывает промежуточные проверки результатов.
Иногда разумно проверить более крупный эффект, объединить сопоставимые волны по заранее заданному плану или выбрать устойчивый промежуточный показатель. У каждого решения есть цена: другой вопрос, более долгий срок или более слабая связь с выручкой. Эти ограничения стоит обсудить с бизнесом до закупки.
Проверьте и потери измерения. Если по одной группе заказов меньше из-за сбоя CRM, статистическая формула не исправит исходные данные. Правила времени и статусов можно закрепить через единый учёт событий. А разбор Brand Lift поможет не перенести те же ошибки отбора в опрос.
В протоколе до старта должны остаться единица разделения, основной результат, значимый для бизнеса эффект, размер групп, срок наблюдения и правило остановки. После теста запишите оценку с интервалом и решение, которое она позволяет принять. Для 20 и 24 покупок честный результат звучит как недостаточная точность для выбранной разницы, а не как победа или провал рекламы.





