Сниженная ставка ещё не описывает сбережённые деньги
В аукционе первой цены победитель платит отправленную ставку по правилам расчёта площадки. Платформа покупателя может уменьшить ставку относительно собственной оценки ценности показа, чтобы не переплатить. Такой подбор называют bid shading. Если снизить слишком сильно, часть возможностей будет проиграна.
В работе Qu и соавторов задача зависит от двух неопределённых оценок: ценности рекламной возможности и конкурирующих ставок. Здесь использовано описание задачи из аннотации, без переноса результатов Yahoo DSP на российский рынок. Универсальный процент безопасного снижения из него не следует.
Допустим, система сначала оценила возможность в 200 рублей за тысячу, а отправила 140. Разница 60 рублей не доказывает экономию. Исходные 200 рублей могли вообще не стать фактическим расходом; часть показов при другой ставке не была бы куплена или была бы куплена в иных условиях. Нужна база сравнения, которая описывает доступную альтернативу, а не внутреннюю черновую цену.
Проверить пример с потерянным объёмом
В учебной группе А тысяча сопоставимых возможностей дала 500 доставленных показов при медийной цене 200 рублей за тысячу. Расход составил 100 рублей, подтверждённых целевых действий было пять. В группе Б тоже тысяча возможностей, но после изменения ставок доставлено 400 показов при цене 170 рублей. Расход 68 рублей, целевых действий два.
Медийный CPM снизился на 15%, расход на 32%, число показов на 20%. При этом стоимость подтверждённого действия выросла с 20 до 34 рублей. Это искусственные маленькие значения для арифметики, не статистический эксперимент и не данные конкретного DSP. По пяти и двум действиям нельзя обосновывать внедрение или отказ от технологии.
Разные доли снижения получились потому, что изменились и цена, и объём. Если в презентации оставить только снижение CPM, потеряется половина истории. А если сравнить одинаковый израсходованный бюджет без учёта срока, более медленная закупка может не успеть набрать нужный объём к окончанию кампании.
Скачать учебные исходные значения CSV можно для собственного пересчёта. Комиссия за снижение ставок и прочие услуги в пример не включены. В реальном тесте они входят в полную цену результата, даже если сама платформа показывает экономию только на медийной закупке.
Не сравнивать только выигранные показы
После снижения ставки система выигрывает другой набор возможностей. Даже одинаковые площадки и форматы не гарантируют одинаковый состав пользователей или время контакта. Сравнение двух массивов только после победы отбирает данные по результату проверяемого изменения.
Распределять сопоставимый входящий поток между вариантами нужно до применения разных правил ставки, если платформа поддерживает такой тест. Для него заранее фиксируют аудиторию, креативы, срок, общий принцип ограничения бюджета и измерение. Например, за каждым пользователем закрепляют один вариант на весь тест. Если покупки совершаются домохозяйством, распределять и оценивать результаты может понадобиться по домохозяйствам. Аналитик выбирает единицу с учётом задачи и доступного измерения.
Если полноценное распределение недоступно, можно изучить сопоставимые периоды и группы, но это наблюдение с ограничениями. Спрос в аукционе меняется по времени, и простой ряд «до/после» не отделяет эффект настройки от внешней цены. Результат такого сравнения нельзя подписывать как доказанную причинную экономию.
Что запросить у платформы
Попросите определения исходной и отправленной ставки, фактического списания, проигрыша и показанного объявления. OpenRTB различает обмен ставками и уведомления; конкретный отчёт платформы закупки DSP может считать победу иначе, чем событие доставки рекламы. Названия колонок нужно сверить до теста.
Вместе с ценой нужны доля участия, доля побед, фактические показы, охват и качество. Для результата используйте одно определение целевого действия и одинаковую зрелость данных. Поздние заказы и возвраты должны успеть попасть в оба варианта. Подробности сопоставимой сметы есть в запросе programmatic-подрядчикам.
Российскому заказчику не обязательно получать чужую закрытую модель ставок. Нужны объяснение метрик, доступная база для проверки и условия, при которых настройку можно отключить. В протоколе пилота зафиксируйте минимально нужный объём, срок и полную стоимость принятого результата. Если платформа умеет показать только разницу со своей исходной ставкой, называйте её именно этой разницей.
