Для двух решений нужны четыре условия
После китайской распродажи 11.11 и перед российскими сезонными акциями вопрос особенно практичен: за что платить в следующий раз, за медиа, снижение цены или их сочетание? Новостной контекст Китая описывает Reuters, но общие данные о продажах не объясняют, почему вырос результат конкретного магазина.
Нужен заранее спроектированный эксперимент: без дополнительной рекламы и скидки; только реклама; только скидка; оба воздействия. Два изменяемых условия называют факторами. Полный набор сочетаний описан в справочнике NIST по факторным планам. Это метод планирования опыта, а не готовый ответ об эффективности распродаж.
Эффект рекламы может зависеть от цены. Поэтому сумма двух отдельных улучшений не обязана совпадать с результатом совместного запуска. Взаимодействие считают на выбранной шкале; результат в долях покупателей и результат в рублях прибыли могут вести к разным решениям.
Считаем на четырёх учебных группах
В каждом сочетании условно назначено по 1000 покупателей. Без обоих воздействий заказ сделали 50, с одной рекламой 70, с одной скидкой 80, с сочетанием 120. Данные полностью вымышлены. Числа взяты для объяснения расчёта, а не из кампании 11.11.
Доли равны 5%, 7%, 8% и 12%. Без скидки разница для рекламы составляет 2 процентных пункта: 7 минус 5. При скидке разница составляет 4 пункта: 12 минус 8. Разность этих двух эффектов равна 2 пунктам. На шкале долей это прибавка, которую не объясняет сумма отдельных эффектов рекламы и скидки.
CSV с исходными числами и калькулятор четырёх условий позволяют пересчитать пример. Калькулятор показывает арифметику, не оценивает статистическую значимость и не строит доверительный интервал. По нему нельзя объявлять реальную акцию успешной.
Почему важна заранее выбранная шкала
При простом сложении отдельных разниц ожидаемая доля совместной группы была бы 10%: исходные 5 плюс 2 от рекламы плюс 3 от скидки. Учебные 12% выше на 2 пункта. Но сравнение относительных множителей использовало бы другую модель и другой ожидаемый результат. Эти ответы нельзя смешивать в одном утверждении о «синергии».
До запуска аналитик фиксирует основную величину: заказы на назначенного покупателя, выручку или вклад в прибыль с согласованными затратами. Скидка может поднять долю покупок и уменьшить прибыль на заказ. Рост первой метрики не доказывает рост второй. Для экономического решения нужны стоимость медиа, цена, себестоимость и возвраты.
Методологический контекст дополняет Online Evaluation for Information Retrieval: экспериментальные воздействия и их сочетания требуют продуманного дизайна. В нашей статье расчёт служит инструментом подготовки такого дизайна, а не заменяет оценку неопределённости.
Что может сломать четыре красивые ячейки
Покупателей случайно распределяют по четырём условиям до начала воздействия. Нельзя выбрать увидевших рекламу для одной ячейки и покупателей без купона для другой. Эти люди могли различаться до кампании. Сохраняют исходное назначение и отдельно фиксируют, что произошло на деле: показ, доступность скидки и применение условий.
Публичная скидка создаёт другую сложность: покупатели контрольной группы тоже могут её получить. Если цену нельзя назначить индивидуально, потребуется другая единица эксперимента, например согласованные магазины или временные окна с учётом взаимного влияния. Четыре подписи в отчёте не устраняют переток людей и общие ограничения запасов.
Проверьте одинаковый ассортимент, наличие товара и сроки исполнения. Если скидочный товар закончился раньше, результат смешивает действие цены и доступность. Это может быть полезным итогом коммерческой политики, но его нужно так и описывать. Вывод о чистом механизме скидки потребует дополнительных условий.
План для российского ритейлера
Выберите одну задачу и категорию, где можно управлять условиями и фиксировать назначение. Коммерческая команда определяет допустимую цену и запас, рекламная команда описывает добавляемую рекламу, аналитик оценивает размер и длительность опыта. Слишком маленькие четыре группы могут дать больше неопределённости, чем один узкий тест.
В итоговом отчёте покажите четыре исходных результата, оба эффекта рекламы и их разность с доверительным интервалом. Отдельно представьте экономику. Не складывайте атрибутированные продажи кабинета с дополнительными продажами, оценёнными экспериментом: они отвечают на разные вопросы. Для следующего бюджета важно понять, какое сочетание принесло полезный дополнительный результат при приемлемой стоимости.
Рядом стоит прочитать о смешении причин в тесте, марже вместо одного ROAS и совместном планировании рекламы и запасов. Определения: контрольная группа, дополнительный эффект, бизнес-результат.





