У процента меняется основание
Win rate обычно называют долей выигранных аукционов среди тех, в которых система сделала ставку. Но поставщики могут использовать другие определения. До сравнения выясните, считают ли они запросы, отдельные возможности показа или ответы со ставкой и что считают победой. Один запрос может описывать больше одной возможности.
Рост доли побед не обязательно вызван повышением ставки. Система могла отказаться от сложных торгов и оставить только легко выигрываемые. Процент внутри оставшейся группы вырастет, хотя общее число полученных показов сократится. Для объяснения нужна доля участия вместе с числом доступных возможностей.
В OpenRTB отправка ставки, уведомление о победе и доставка рекламного материала описывают разные события. Поэтому победа в отчёте ещё не равна показу, а показ не равен подтверждённому качественному контакту. Определения конкретной платформы закупки DSP нужно сверить с её событиями и правилами списания.
Проверить два учебных периода
В каждом периоде было 100 тысяч сопоставимых возможностей. В А система сделала 50 тысяч ставок и выиграла 10 тысяч. В Б сделала 20 тысяч ставок и выиграла 8 тысяч. Доля побед выросла с 20% до 40%, а участие упало с 50% до 20%. Побед стало на 2 тысячи меньше.
Дальше в А доставлено 9 тысяч показов, из них 7 200 прошли согласованную проверку качества. В Б доставлено 7 тысяч, прошли 4 200. В условии все доставленные показы измерены по одним правилам, поэтому доля подходящих составляет 80% и 60%. Если в реальности покрытие неполное, неизвестные показы нужно вынести отдельно.
| Показатель | А | Б |
|---|---|---|
| Доступные возможности | 100 000 | 100 000 |
| Ставки | 50 000 | 20 000 |
| Победы | 10 000 | 8 000 |
| Доставленные показы | 9 000 | 7 000 |
| Прошли условия качества | 7 200 | 4 200 |
| Подтверждённые целевые действия | 40 | 20 |
| Полный расход, руб. | 2 000 | 2 100 |
Все числа искусственные. Они не описывают поведение российского DSP и не доказывают причинную связь между изменением участия и результатом. В CSV с исходным отчётом можно пересчитать доли и добавить собственные этапы доставки.
Связать цену с тем, что получили
При указанном расходе стоимость целевого действия выросла с 50 до 105 рублей. Тысяча доставленных показов стоила около 222,22 и 300 рублей. А тысяча показов, прошедших условия качества, около 277,78 и 500 рублей. Эти разные базы описывают разные стороны одной кампании.
Снижение качества могло возникнуть из-за изменения состава площадок, аудитории, времени или правил проверки. Из общего отчёта нельзя выбрать причину. Разбейте доступный поток и полученные показы на сопоставимые группы. Если нужных разрезов нет, обозначьте границу расследования вместо уверенного объяснения.
Ставка тоже остаётся частью картины. Её снижение способно уменьшить число побед и расход, но не обязано улучшать итог. Исследование задачи bid shading описывает неопределённость ценности возможности и конкуренции. Для практической оценки нужен отдельный тест экономии, а не сравнение процента побед двух периодов.
Выбрать проверку по месту потери
Если падает участие при прежнем потоке, проверьте фильтры, ограничения бюджета, доступные сигналы и технические отказы. Если уменьшается доля побед при прежнем участии, изучите ставки, конкуренцию и минимальную цену площадки. Если потери возникают после победы, разберите загрузку, ошибки креатива и учёт события показа.
Такой порядок не устанавливает виновника автоматически. Например, уменьшение участия может быть намеренным отказом от неподходящего трафика. Тогда важно, что произошло с полным расходом и пригодным результатом. Процент побед не должен становиться отдельной целью, ради которой покупают лёгкий, но ненужный инвентарь.
Российскому заказчику полезно запросить один связанный ряд за одинаковые периоды, с часовой зоной и определениями каждого этапа. Попросите платформу объяснить расхождения чисел, а затем выберите один участок для теста. Увеличивать ставки только ради возвращения прежнего win rate оснований пока нет.
При сверке не складывайте дневные выгрузки, если в них повторяются поздние уведомления об одной победе. Запросите правило уникальности события и срок окончательного пересчёта. Повторный ответ или обновлённая строка не должны создавать дополнительную победу. Иначе рост процента может возникнуть в отчёте без изменения самой закупки.
Проверьте и возраст результатов: вчерашним показам ещё могло не хватить времени для покупки, а недельным уже хватило. Для сравнения целевых действий оставьте одинаковое время наблюдения после показа. Если зрелых данных пока нет, отложите вывод о цене действия, сохранив уже проверенные числа участия и доставки.
