Что именно включают в одном регионе

Команда хочет проверить дополнительную медийную кампанию поверх обычной рекламы. В тестовых территориях добавляют выбранную механику, в контрольных сохраняют обычную работу. Тогда вопрос касается добавления именно этой кампании при существующем фоне. Называть результат эффектом всего маркетинга было бы неверно.

Территория становится единицей назначения условия: город, группа районов или иной рынок, который рекламная система и бизнес способны различить одинаково. Если реклама включается по городу, отдельные заказы внутри него не превращаются в тысячи независимых экспериментальных единиц. Связь наблюдений внутри региона нужно учитывать в плане анализа.

В оригинальной работе Vaver и Koehler, 2011 геоэксперимент строится на непересекающихся территориях, назначенных в разные условия. Мы используем принцип дизайна, не предлагаем запуск рекламы Google в России и не воспроизводим результаты авторов. Доступность подходящего геотаргетинга и выгрузок нужно проверять у собственных поставщиков.

Подготовьте историю раньше карты

Для каждого рынка соберите одинаковые по определению продажи за достаточно длинный период до старта. Сохраните цены, наличие, акции, другие крупные кампании и изменения измерения. Сходство общего оборота без истории не объясняет, как рынки отвечают на сезонность и внешние события.

В учебном фрагменте рынок А продаёт 1 000, 1 100 и 900 единиц за три недели. Рынок Б продаёт 500, 550 и 450. Уровни разные, но движение в этом искусственном фрагменте пропорционально. Рынок В продаёт по тысяче каждую неделю, рынок Г растёт с 800 до 1 100. Внешнее сходство первых недель не делает В и Г хорошими контролями для А.

Три точки слишком мало для выбора реальных территорий. Они нужны здесь, чтобы показать различие уровня и формы ряда. В CSV с учебной историей восемь условных недель; идеальная пропорция А и Б задана намеренно и не описывает реальные города. Даже восемь недель не являются универсальным достаточным сроком.

Учебный рынокПервая неделяВтораяТретья
А1 0001 100900
Б500550450
В1 0001 0001 000
Г8009501 100

Посмотрите также на долю возвратов и изменения ассортимента. Регион со стабильной выручкой после подорожания может иметь падающий спрос в штуках. От выбора показателя зависит сопоставимость. До подбора пар нужно определить, проверяются заказы, выручка после возвратов или другой результат.

Похожий уровень не гарантирует общий тренд. Учебный фрагмент иллюстрирует различие уровня и формы ряда. Ни одна пара здесь не объявлена пригодным реальным контролем.
Учебный фрагмент иллюстрирует различие уровня и формы ряда. Ни одна пара здесь не объявлена пригодным реальным контролем.

Отбор похожих рынков не отменяет назначение условий

В случайном эксперименте из допустимых рынков формируют группы по заранее заданному правилу случайного назначения. При сильной неоднородности можно сначала сформировать сопоставимые пары, затем случайно выбрать условие внутри пары. Способ подбора и допустимые исключения фиксируют до просмотра результата кампании.

Есть проекты, где бизнес заранее требует включить конкретные города и случайное назначение невозможно. Это другой план с более сильными допущениями. В работе Au о matched markets, 2018 прямо обсуждаются ограничения малочисленных и неоднородных гео и зависимость результата от модельных предпосылок. Похожая динамика в прошлом не гарантирует их выполнения в будущем.

Нельзя выбрать контроль после кампании как тот город, с которым получился самый большой прирост. Такой поиск использует результат для настройки сравнения и завышает впечатление от рекламы. Если критерии подбора пришлось изменить, сохраните первоначальную версию и покажите причину, не выдавая новый расчёт за заранее запланированный.

Один тестовый и один контрольный рынок редко дают возможность убедительно проверить все эти предпосылки. Наша пара А и Б служит арифметической иллюстрацией, не рекомендацией запускать эксперимент на двух городах и получать статистическую уверенность по числу заказов.

Проверьте, не перетекает ли реклама через границу

Человек живёт в одном регионе, работает в другом и заказывает доставку в третий. Если реклама назначена по текущему местоположению, а продажи считаются по адресу доставки, условия смешиваются. До старта согласуйте единицу географии у рекламной системы и у источника продаж.

Пограничные территории можно исключить или объединить, если это предусмотрено планом и есть данные для решения. Но универсального расстояния, которое автоматически убирает переток, нет. Для некоторых категорий покупательская поездка сама по себе пересекает несколько рынков. Тогда геоэксперимент может быть неподходящим инструментом.

Проверьте другие каналы. Общенациональная акция, рассылка по базе и изменение цен способны затронуть группы неодинаково. Полностью изолировать рынки обычно трудно; задача состоит в том, чтобы заранее знать фон и не допустить управляемого различия, которое маскируется под тестируемую рекламу.

Не нужно передавать подрядчику адреса покупателей ради обсуждения этой схемы. Для подготовки достаточно разрешённых агрегатов по территориальным единицам. Правила доступа и допустимость детализации согласуют с ответственными за данные конкретного проекта.

Прогоните план на периоде без кампании

Отложите часть старой истории и попробуйте предсказать тестовые рынки по выбранному контролю, как будто кампания уже включена. Большой «эффект» в периоде, где изменения рекламы не было, указывает на проблему плана или данных. Он не доказывает, что любой будущий результат будет ложным, но требует объяснения до расходов.

Проверку выполняют по правилам, которые затем используют в основном анализе. Нельзя на старом периоде подобрать десятки вариантов и выбрать единственный удачный без учёта такого поиска. У аналитика должен оставаться отдельный участок данных для проверки устойчивости выбора.

Общий принцип выбора дизайна по цели и факторам описан в справочнике NIST. В рабочем проекте из него следует практическое требование: сначала вопрос, единица назначения и доступные рынки, затем метод анализа. Удобный отчёт площадки не должен определять вопрос за рекламодателя.

Запишите результат, который будете считать

В учебном сценарии А после старта получил 1 430 продаж, Б 660. Если просто сохранить прежнее соотношение два к одному, для А получилось бы 1 320. Разница 110 продаж составляет около 8,33% от такого условного ожидания. Это результат арифметической проекции, не доказанный причинный эффект.

Чтобы превратить подобный расчёт в исследование, нужны обоснование модели, достаточное число экспериментальных единиц, оценка неопределённости и проверка допущений. В частности, рост Б мог отличаться от его обычной связи с А. Само совпадение прежних рядов не запрещает такому изменению произойти.

Проекция ещё не доказанный эффект. Разница 110 составляет около 8,33% ожидания. Это арифметическая проекция без доказанного причинного эффекта и оценки неопределённости.
Разница 110 составляет около 8,33% ожидания. Это арифметическая проекция без доказанного причинного эффекта и оценки неопределённости.

Заранее зафиксируйте горизонт результата, учёт поздних заказов и возвратов, основной показатель и правила остановки. Частые промежуточные проверки требуют метода, который учитывает возможность досрочного решения. Продлевать тест до первого красивого числа нельзя. Вопрос точности при редких покупках разобран в материале о малом числе конверсий.

Что отправить аналитику и медиакоманде

В протокол включите список допустимых рынков, источник географии, историю результата, условия назначения и причины исключений. Рядом положите календарь акций и изменений наличия. Попросите аналитика отдельно оценить точность и объяснить, какие отклонения от плана сделают вывод ненадёжным.

У медиакоманды должны быть настройки, по которым можно проверить реальную доставку в назначенные территории. Ошибка таргетинга не исправляется красивой моделью продаж. Факт запуска и факт соблюдения условий сверяют до интерпретации прироста.

Для российских кампаний полезно начать с категорий, где продажи и доставка привязаны к понятной географии, а промоакции управляемы. Если регионы пересекаются по поведению или ключевые данные недоступны, рассмотрите другой дизайн вместо обещания результата любой ценой. Основные события и статусы заказа можно заранее согласовать через рабочее соглашение об учёте.

После назначения условий сохраните неизменную копию плана и исходных данных. Изменения в ходе теста записывайте с датой и причиной. Тогда в итоговом обсуждении будет ясно, что команда проверила по плану, какие допущения нарушились и какое следующее решение действительно поддерживают данные.