Разделите роли внутри исследования

В одном проекте поставщик может продавать размещение, распределять аудиторию, хранить заказы и готовить итоговую презентацию. Нужно знать, кто выполняет каждую роль и кто может менять правила. Отдельный логотип измерителя не гарантирует независимость, если он получил только готовый агрегат без возможности проверить происхождение.

В рекомендациях IAB и IAB Europe причинный эффект связан со сценарием без проверяемой рекламы. Поэтому сначала запрашивают метод создания сравнения. Отчёт о покупках после контакта или о новых покупателях бренда может быть полезным, но ещё не устанавливает дополнительный результат размещения.

Если поставщик называет проверку экспериментом, он должен объяснить, когда и как назначались условия. При наблюдательной модели нужны основания сравнимости и раскрытие допущений. Российскому рекламодателю не обязательно получать исходные персональные записи: допустим согласованный аудит внутри защищённой среды или достаточно подробные агрегаты. Важно заранее проверить, какие утверждения такой доступ действительно позволит подтвердить.

Верните в расчёт исходную базу

Учебный пример начинается с двух групп по 10 000 аккаунтов. В тестовой группе есть 1 200 покупателей, в сравнительной 1 000. Один покупатель учитывается один раз после согласованного срока возвратов. Доли равны 12% и 10%, исходная разница 2 процентных пункта. Это вымышленные данные, не результат кампании и не доказательство достаточности какого-либо дизайна.

Теперь представим, что после просмотра результата из тестовой группы удалили 4 000 непокупавших аккаунтов с объяснением «не получили измеримый контакт». Покупателей осталось 1 200, а база стала 6 000. В презентации появились 20% против 10%, разница 10 процентных пунктов. Ни одной покупки не добавилось; изменился отбор после назначения условия.

Покупки те же, знаменатель другой. Удаление 4 000 непокупавших из теста увеличило разницу с 2 до 10 п. п. Покупок не прибавилось; это изменение базы, не рост эффекта.
Удаление 4 000 непокупавших из теста увеличило разницу с 2 до 10 п. п. Покупок не прибавилось; это изменение базы, не рост эффекта.

Такое исключение требует отдельного обоснования и меняет предмет оценки. Для ответа об исходно назначенной группе первая база сохраняется. Анализ получивших контакт может быть дополнительным, но его нельзя молча подставить вместо исходного сравнения. Учебный CSV содержит оба расчёта и причину изменения знаменателя.

Запросите след от протокола до таблицы

Проверяющему нужны версия плана до старта, число первоначально распределённых аккаунтов, доля аккаунтов с доступными данными о покупках, исключения и их время. Дополнительно фиксируются сопутствующие акции, изменение цены и наличие товара. Если тестовая аудитория одновременно получила скидку, а сравнительная нет, исследуется весь пакет условий. Приписать разницу только рекламе без дополнительного основания нельзя.

MRC Outcomes.pdf) рассматривает качество данных и различие экспериментальных и наблюдательных подходов. В запросе на проверку это превращается в конкретные строки: кто создал группы, как сохранил назначение и какие операции меняли исходные записи. Неопределённость показывается рядом с результатом.

Общая методика NIST помогает связать дизайн с исходным вопросом. После просмотра отчёта нельзя без раскрытия выбирать из множества категорий только удачные. Если разрезы были исследовательскими, так их и называют, а подтверждение планируют отдельно. Даже воспроизводимая арифметика не устраняет смещение выбора удобной гипотезы.

Определите достаточность внешней проверки

Уровень доступа должен соответствовать силе обещания. Агрегат из двух чисел позволяет пересчитать разницу, но не подтвердить случайность назначения и отсутствие скрытых исключений. Доступ к журналу назначения и промежуточным агрегатам добавляет проверяемость. Прямой экспорт личных покупок не должен становиться условием по умолчанию: правовые основания и минимальность данных оцениваются отдельно.

До закупки аналитик бренда и представитель поставщика заполняют карту ролей, а закупщик фиксирует необходимые свидетельства в условиях проекта. Если доступ ограничен, итоговая формулировка сужается. Можно принять данные как направляющий сигнал для следующей проверки, не называя их независимым доказательством окупаемости.

Продолжить разбор помогут переток покупок из органики, малое число конверсий и материалы о retail media. Финальный вопрос к исследованию состоит в том, какое решение оно поддерживает при показанных ограничениях, а не кто убедительнее оформил презентацию.