Решите, что именно покупатель выбирает

Премиальным могут называться большой размер, необычная механика, особое место в статье или пакет с обслуживанием. До испытания эти свойства нужно перечислить. Покупка верхнего интерактивного блока и покупка маленького баннера внизу страницы различаются сразу несколькими условиями. Такой тест может ответить на вопрос о выборе готового пакета. Приписывать весь результат интерактивности будет неверно.

Если задача состоит в проверке самой механики, команде нужны максимально одинаковые среда, предложение, аудитория и момент появления. Отличается управляемое действие внутри объявления. Иногда размеры и технические ограничения не позволяют получить такую пару. Это не повод маскировать различие: в плане остаётся сравнение двух доступных продуктов с перечисленными отличиями.

Два разных вопроса сравнения. Различие коммерческих пакетов нельзя автоматически приписать одному интерактивному элементу.
Различие коммерческих пакетов нельзя автоматически приписать одному интерактивному элементу.

В справочнике NIST выбор дизайна связан с целью и числом исследуемых факторов. Для закупки отсюда следует конкретная проверка. Если в одной группе одновременно заменили формат, цену, аудиторию и контекст, единичную причину разницы не установили. Коммерческая полезность такого сравнения зависит от того, сохранится ли именно этот пакет при следующей покупке.

Перед запросом цены рекламодатель описывает единицу продукта. Например, интерактивная карточка с выбором цвета на определённых статьях мобильной версии сайта. В спецификации есть момент появления, закрытие, запасной статичный вариант, допустимый вес и доступность действий. Название rich media само по себе не заполняет ни одного из этих условий.

Назначьте группы до рекламного контакта

Для учебного протокола допустим, что площадка умеет устойчиво распределять подходящие аккаунты случайным образом до выбора формата. Один аккаунт остаётся в своей группе весь тест. Это предположение примера, не описание возможностей конкретного российского сайта. Если площадка различает только браузеры, единицу придётся так и назвать; доказательства уровня человека от этого не появятся.

Результат учитывается по исходно распределённым группам. Отбор только тех, у кого блок загрузился, оказался видимым или получил клик, меняет состав после назначения условия. Более тяжёлый формат может потерять часть контактов именно из-за своей загрузки. Исключение таких случаев скроет недостаток продукта. Технические потери нужны в диагностике и в общей оценке предложения.

Случайное распределение проверяется по доступным характеристикам до теста. Одинаковая доля мобильных устройств или прошлых покупателей не доказывает идеального баланса, но помогает обнаружить сбой назначения. Если аккаунт снова попадает в другую группу, аналитик исследует сохранность назначения. Молчаливое удаление пересечений после получения продаж способно создать новое смещение.

Общая частота и одновременная реклама того же бренда тоже требуют описания. Когда обе группы независимо видят другие кампании, оценивается добавление одного пакета в такую среду. Если одна получает дополнительный ремаркетинг по взаимодействиям, а другая нет, изменился весь сценарий. Возможность такого продолжения можно проверить отдельно, сохранив его в составе коммерческого продукта.

Согласуйте результат и качество до пилота

Предположим, бренд выбирает пакет для дополнительного продвижения товара. Основной результат учебной проверки: доля аккаунтов с хотя бы одним выполненным заказом после возвратов за согласованный период. У одного аккаунта максимум один такой результат, даже если он сделал несколько покупок. Выручку и повторные заказы можно сохранить отдельно, но они не заменяют эту единицу.

Срок должен учитывать задержку покупки и появления возврата. До окончания этого срока отчёт остаётся предварительным. Если учёт результата доступен только для части аккаунтов, нужен разбор покрытия и причин отсутствия данных. MRC Outcomes.pdf) разделяет результат и способ его оценки; в нашей проверке это означает запрет считать взаимодействия выполненными заказами.

В диагностическом отчёте рядом стоят загрузка, измеримость видимости, недействительная активность, закрытия и завершённые действия. Порог допустимого ухудшения загрузки или роста жалоб задаётся командой до теста. Он зависит от продукта и площадки. Чужое правило длительности или числа касаний не становится стандартом качества для любого интерактива.

Чтобы не перепутать успешное действие с попыткой избавиться от блока, нужна спецификация событий. Например, раскрытие сравнения двух вариантов считается один раз после появления содержимого. Свайп, отменённый вертикальной прокруткой, остаётся техническим жестом. Дальше можно использовать отдельную проверку взаимодействий, но у двух форматов не обязаны быть одинаковые диагностические события. Сравнимым должен быть итог выбранной задачи.

Включите цену всего предложения

Рассмотрим полностью вымышленные данные. В группу А и группу Б исходно назначили по 50 000 независимых аккаунтов. Для А закупка стоила 240 тысяч рублей, производство и обслуживание ещё 60 тысяч. Для Б закупка стоила 160 тысяч, дополнительные работы 20 тысяч. Общая стоимость составила 300 и 180 тысяч рублей. В примере нет других затрат, НДС и общих постоянных расходов; в реальном проекте их состав согласуют отдельно.

Разница пакетов равна 120 тысячам рублей. Нельзя сравнить только медиастроки и забыть производство сложной версии. Если при повторном размещении часть затрат не повторится, это второй финансовый сценарий. Он должен сохранять фактическую стоимость первого теста в истории, а не исправлять её до желаемой окупаемости.

За одинаковый завершённый период результат получили 220 аккаунтов группы А и 200 группы Б. Это 0,44% и 0,40% исходно назначенных. Разница составляет 0,04 процентного пункта, или 20 аккаунтов при одинаковой базе. Все события здесь придуманы для расчёта. Это не проведённый редакцией рекламный эксперимент и не benchmark премиальных форматов.

Доли результата в учебных группах. Разница 0,04 процентного пункта. При допущениях примера интервал примерно от минус 0,04 до плюс 0,12 п. п.; уверенная победа не установлена.
Разница 0,04 процентного пункта. При допущениях примера интервал примерно от минус 0,04 до плюс 0,12 п. п.; уверенная победа не установлена.

Если условный вклад одного такого покупателя до рекламных расходов равен 2 000 рублям, точечная разница дала бы 40 тысяч рублей вклада при дополнительных расходах 120 тысяч. Такая арифметика помогает сформулировать экономический вопрос. Она ещё не устанавливает надёжную разницу продаж. Деление 120 тысяч на 20 даёт 6 000 рублей за разницу в одном покупателе, но этот нестабильный показатель нельзя представить как доказанную цену дополнительного клиента.

Покажите неопределённость рядом с разницей

Для указанных учебных долей простое нормальное приближение при независимых аккаунтах даёт 95-процентный интервал разницы примерно от минус 0,04 до плюс 0,12 процентного пункта. Он включает ноль. При иных зависимостях, повторных просмотрах результата или ином дизайне нужен другой расчёт. Это иллюстрация масштаба неопределённости, не универсальная формула анализа любого пилота.

По этим данным нельзя уверенно объявить рост. Нельзя и заключить, что два формата одинаковы. Чтобы доказать практически допустимое различие, заранее нужна соответствующая задача и подходящая точность. Подбор более красивого показателя после просмотра результата не исправит недостаток информации о главном результате.

В рекомендациях IAB и IAB Europe по инкрементальным измерениям сравнение сценариев связано с причинным вопросом. Здесь обе группы получают рекламу, поэтому оценивается различие двух пакетов. Полный дополнительный эффект каждого относительно отсутствия рекламы такой парой не установлен. Для него понадобится другая контрольная ситуация.

Полезно заранее согласовать три решения. Расширение допускается при достаточно убедительном результате и приемлемой экономике. Доработка нужна при конкретном устранимом дефекте продукта. Продолжать неопределённую проверку стоит, если ожидаемая польза новых данных оправдывает расходы на их получение. Механическое продление любого слабого теста может стоить дороже самого выбора.

Подготовьте репетицию и журнал изменений

До размещения команда проходит полный маршрут на тестовых аккаунтах. Назначение сохраняется после перезагрузки, кнопка работает с клавиатуры, статичная версия открывает верное предложение, закрытие не создаёт положительное взаимодействие. Аналитик видит исходную группу даже у случая, где реклама не загрузилась. Площадка показывает, как обнаруживается нарушение географии или сбой измерения.

Версии креатива и правил учёта сохраняются вместе с датой. Если во время пилота ускорили тяжёлую версию, в анализе нужно учитывать, с какого момента её показывали. Объединять разные реализации под одной строкой «премиальный формат» без проверки состава результата опасно. По возможности новую версию испытывают в отдельном согласованном этапе.

В российской команде такой протокол собирают закупщик, аналитик, разработчик формата и представитель бренда. Юридические и договорные условия проверяются отдельно. Запрос на агрегированную выгрузку не означает разрешение передавать персональные данные. Если поставщик не даёт данных для необходимого вывода, предмет пилота сужают до того, что можно проверить, либо меняют условия покупки.

Учебный CSV сравнения содержит общую базу, результат и состав стоимости. Его задача дать воспроизводимый расчёт и список недостающих доказательств. Для подготовки входного задания полезен запрос подрядчику, для разбора смешения причин тест креативов и таргетинга, для финансового слоя расходы в programmatic. Решение о закупке должно опираться на тот пакет, который действительно испытали и смогут поставить повторно.