Сначала проверьте, что считают числитель и знаменатель

Представим российского рекламодателя с двумя группами размещений. В первой группе на тысячу показов обычно приходится больше кликов, чем во второй. За неделю команда расширила вторую группу. При этом в обеих группах кликабельность немного выросла. Возможно ли, что итог стал хуже? Да: большая часть новых показов теперь относится к группе с меньшей исходной кликабельностью.

Это три разных наблюдения. Внутри групп доля кликов увеличилась. Структура закупки изменилась. Доля кликов по всей реально состоявшейся закупке уменьшилась. Ни одно из них не отменяет остальные. Ошибка начинается, когда одним показателем пытаются ответить сразу на все вопросы.

CTR показывает, какая часть показов закончилась кликом: число кликов делят на число показов. Такое определение дано, например, в справке Google. Здесь используется определение метрики, без предложения запускать Google-рекламу в России. В своём отчёте нужно дополнительно проверить правила учёта клика и показа.

Если один источник удаляет часть недействительных событий, а другой оставляет их, простая перестановка весов ещё не объяснит расхождение. Начните с одинакового периода, единиц и фильтров. Только после этого переходите к структуре данных. Разница определений и изменение состава требуют разных исправлений.

Четыре строки, из которых получается неожиданный итог

Учебные CTR: группа A10 и11%, группа B1 и2%. Общий CTR9.1 и2.9% при изменившихся весах показов.
Собственные учебные данные. Проценты внутри групп и общий итог имеют разные знаменатели.

В учебном примере до изменения было 9000 показов группы A и 900 кликов. Группа B получила 1000 показов и 10 кликов. Итого 10 тысяч показов, 910 кликов, CTR 9,1%. Все числа придуманы редакцией, это не выгрузка реальной кампании.

После изменения у A осталось 1000 показов с 110 кликами. У B стало 9000 показов со 180 кликами. Общие 10 тысяч показов дали 290 кликов, то есть CTR 2,9%. Внутри A показатель вырос с 10% до 11%, внутри B с 1% до 2%. Однако общая доля кликов снизилась.

Исходный CSV содержит все четыре строки. Суммы можно проверить вручную. Количество показов в периодах одинаково намеренно: так проще увидеть, что результат изменился из-за распределения, а не из-за роста общего объёма.

Группы A и B здесь просто две непересекающиеся части. Они могут обозначать площадки, устройства или согласованные типы размещений. Нельзя одновременно сложить строки по площадкам и строки по устройствам: один показ тогда попадёт в итог дважды. Разбиение должно покрывать данные без пересечений.

Почему среднее двух CTR здесь неверно

Обычное среднее 10% и 1% равно 5,5%. Оно описывало бы результат при одинаковом числе показов в двух группах. В исходной закупке на A приходилось 90% показов, поэтому её CTR влиял на итог гораздо сильнее. Правильный общий показатель получается из суммарных кликов и показов, а не из среднего процентов.

После изменения соотношение стало обратным: 10% показов у A, 90% у B. Именно больший вес B снижает общий CTR. При этом её собственные 2% лучше прежнего 1%. Слова «хуже» и «лучше» без названного сравнения оказываются слишком неопределёнными для решения о бюджете.

Когда общий показатель меняется в сторону, противоположную показателям всех групп, говорят о парадоксе Симпсона. В разборе Stanford Encyclopedia of Philosophy объясняется, почему объединённые доли не обязаны сохранять отношение, наблюдаемое в частях. Это свойство арифметики и структуры данных, а не признак намеренного искажения отчёта.

Поэтому обнаружение такого рисунка само по себе не доказывает обман поставщика. Сначала восстановите числа. Затем выясните, кто и зачем изменил структуру: расширили охват, убрали дорогой источник, появился новый формат или закончился доступный объём. Для коммерческого решения важны эти обстоятельства.

Что покажут одинаковые веса

До:90% показов A и10%B. После:10%A и90%B. При одинаковых весах90/10 CTRпосле10.1%, фактически2.9%.
Учебный пересчёт по весам первого периода. 10,1% не заменяет фактически полученные 2,9% и не доказывает причинный эффект.

Теперь зададим отдельный вопрос: что получилось бы при прежнем соотношении показов? Для обоих периодов возьмём 90% A и 10% B. До изменения результат останется 9,1%. После изменения расчёт даст 10,1%: 90% от 11% плюс 10% от 2%.

Этот показатель помогает сравнить доли кликов при одной структуре. Он не заменяет фактические 2,9% второго периода и не добавляет кампании потерянные клики. Это пересчёт по условным весам. В отчёте его нужно подписать как результат при фиксированном составе, сохранив рядом фактический итог.

Откройте калькулятор состава. Он показывает общий CTR каждого периода и пересчёт при одной выбранной доле A. По умолчанию используются прежние 90%. Можно выбрать равные веса и увидеть 5,5% против 6,5%. Инструмент считает учебную арифметику, не причинный эффект рекламы.

Почему не выбрать веса, которые дают наиболее приятную картину? Потому что тогда сравнение начинает зависеть от желаемого вывода. Принцип выбора весов согласуют заранее: структура прошлого периода, план закупки или общая для нескольких участников эталонная структура. Каждый вариант отвечает своему вопросу.

Из чего складывается изменение итогового процента

Для небольшого отчёта полезен проверяемый промежуточный расчёт. Сначала оставим прежнюю структуру, но подставим новые CTR групп. Итог поднимется с 9,1% до 10,1%. Затем заменим структуру новой: показатель снизится с 10,1% до 2,9%. Сумма двух изменений равна фактическому изменению общего CTR.

В таком порядке первый вклад составляет плюс один процентный пункт, второй минус 7,2 пункта. Вместе минус 6,2 пункта. Это разложение по выбранному порядку подстановки, не единственно возможное разделение причин. Если начать со смены структуры, промежуточные вклады могут отличаться.

Не называйте эти величины вкладом креатива и вкладом алгоритма. Изменение доли кликов внутри A тоже могло зависеть от аудитории, времени суток и множества других условий. Арифметическое разложение сообщает, где изменились числа. Чтобы объяснить, что именно вызвало изменение, нужны дополнительные данные или эксперимент.

Для больших таблиц сохраните формулу и порядок замены. Другой аналитик должен получить тот же промежуточный итог по тем же строкам. Не следует прятать разложение в картинке без исходных весов: проверить такую иллюстрацию будет невозможно.

Разбивка не становится правильной автоматически

Увидев обращение результата, легко перейти к другой крайности: объявить любую разбивку более достоверной, чем итог. Это неверно. Выбор группы должен соответствовать вопросу, а для причинного вывода ещё и устройству процесса, который создал данные.

В работе Judea Pearl «Understanding Simpson’s Paradox» отдельно обсуждается, почему одной таблицы недостаточно для выбора причинной интерпретации. Практический вывод для рекламы: не объявляйте сегментирование универсальным способом «очистить эффект». Нужно понимать, какие признаки были заданы до воздействия, а какие появились после него.

Например, сравнение только тех посетителей, которые открыли товарную карточку после рекламы, отбирает людей по действию, на которое сама реклама могла повлиять. Такой отбор меняет вопрос эксперимента. Разница внутри выбранной группы не заменяет результат по исходно назначенным участникам.

В нашем примере фиксированные веса используются для сравнения показателей двух периодов при одинаковом составе закупки. Мы не считаем, что группы случайно назначались, и не оцениваем дополнительность продаж. Поэтому вывод ограничен: изменилось распределение показов, и оно арифметически объясняет расхождение между общим и частными CTR.

Что делать с новой или исчезнувшей группой

В реальной закупке на второй неделе может появиться группа C, которой раньше не было. Для неё нет прежнего CTR. Нельзя записать ноль и затем назвать разницу улучшением. Отсутствующее наблюдение и нулевой результат означают разные вещи.

Разделите общий фактический итог, сравнение на общей части и вклад новых групп в объём. Если фиксированные веса требуют несуществующей оценки, отметьте, что пересчёт в этой форме невозможен. Не заполняйте пробел средним соседней площадки без отдельного обоснования.

То же относится к исчезнувшей группе. Её исключение может быть частью полезного изменения закупки, а может скрывать потерю доступного качественного инвентаря. Отчёт должен показывать и сам факт исчезновения, и границы сравнения. Один процент по оставшимся строкам этого не объясняет.

Не дробите таблицу до единичных событий ради красивого вывода «везде выросло». У малых групп показатель нестабилен. Сохраните числа показов и кликов рядом с процентом; статистическая неопределённость остаётся даже после устранения арифметической ошибки среднего.

Почему решение о бюджете требует ещё одного показателя

CTR описывает клики, но не цену и не полезный результат после них. Расширение группы с меньшей кликабельностью может быть осмысленным, если там ниже стоимость нужного действия или появляется дополнительный охват. Обратное тоже возможно: высокий CTR получен случайными нажатиями и не помогает задаче.

Поэтому не нужно автоматически возвращать структуру 90/10 из нашего примера. Она выбрана для объяснения расчёта, а не как рекомендация закупки. Сначала сопоставьте расход, доступный объём и согласованный результат бизнеса, затем решайте, какую часть плана менять.

Для агентства полезен короткий разговор с заказчиком: «Фактический CTR снизился до 2,9%. В каждой из двух сопоставимых групп доля кликов выросла. Главная арифметическая причина снижения итога связана с переносом объёма в B. Сейчас проверяем, оправдан ли этот перенос по стоимости и результату». Здесь каждое предложение можно проверить.

Если план менял AI-помощник, запросите не свободное объяснение задним числом, а исходные ограничения, решение о распределении и журнал изменения. Правильная история о составе не подтверждает правильность самого распределения. Это отдельная приёмка исполненного задания.

Как собрать рабочую проверку перед отчётом

Аналитик фиксирует период, единицу учёта и определение клика. Специалист по закупке объясняет, какие группы были доступны и что изменилось. Ответственный за результат выбирает вопрос сравнения: фактический итог, результат при одинаковом составе или оценка воздействия рекламы. Эти вопросы могут стоять рядом, но у них разные подписи.

Затем сохраните числители, знаменатели, доли групп и формулу. Для четырёх учебных строк достаточно CSV и калькулятора. В рабочей выгрузке добавьте версию фильтров и время получения данных. При пересчёте отчёта должны обновляться все связанные показатели, а не только общий процент.

В итоговом документе достаточно трёх видов результата: фактические суммы, сравнение внутри значимых групп и явно подписанный пересчёт по общим весам. Если они расходятся по направлению, объясните изменение состава обычными словами. Не выбирайте одну удобную величину вместо остальных.

Продолжить помогут правила учёта событий, семплирование отчёта, пустое значение и ноль и распределение добавки бюджета. Термины: измерение, базовый вариант, дополнительный эффект. Начните со сверки четырёх чисел, а решение о качестве рекламы принимайте после проверки того, какой вопрос они действительно позволяют решить.