Посчитать проверки, а не только файлы

В папке лежат двадцать баннеров, но это ещё не означает двадцать статистических проверок. Если каждый сравнили с контролем по кликам, покупкам и выручке, вопросов уже больше. Затем команда посмотрела мобильные устройства отдельно, выделила новых покупателей и отобрала удачные дни. У результата появилась длинная история поиска, которую финальный слайд обычно не показывает.

Для этой задачи полезно понятие семейства гипотез: заранее определённого набора утверждений, по которому команда собирается принять общее решение. Например, «какие из двадцати версий дают отличие по одной основной метрике от одного контроля». Состав семейства зависит от плана эксперимента, а не от того, сколько хороших результатов удалось оставить в презентации.

В справочнике NIST о методе Бонферрони рассматривается заранее выбранный конечный набор сравнений. Это статистический документ о сравнении средних, а не инструкция рекламного кабинета. Его полезный для команды принцип: совместный вывод требует учитывать весь заявленный набор. Нельзя сначала найти удачное сравнение, а потом описать его как единственный вопрос исследования.

AI ускоряет производство новых версий. Они не создают независимые доказательства автоматически. Баннеры могут различаться только фоном, использовать одну и ту же аудиторию и опираться на общий контроль. Если система закупки сама перераспределяет показы, к вопросу множественных проверок добавляется корректность самого эксперимента. Одной поправкой эту проблему не исправить.

Рабочее начало выглядит скромно: до первого показа сохранить список вариантов, основную метрику, направления сравнения, правила распределения и остановки. Поисковые срезы тоже можно смотреть, но их помечают как поиск идеи. Отчёт должен позволять восстановить, какое решение планировали изначально и что придумали уже после просмотра данных.

Прочитать p без обещания победы

Значение p помогает оценить, насколько наблюдения совместимы с нулевой гипотезой при условиях выбранного теста. Малое значение само по себе не означает, что вероятность ошибки именно этого решения равна p. Оно также не говорит, что новый баннер с указанной вероятностью лучше старого. Для такого вывода недостаточно одной ячейки статистического отчёта.

В рекомендациях Microsoft PlayFab по экспериментам обсуждаются гипотеза, выборка и изменения во время теста. Это руководство игрового продукта. Его нельзя переносить на рекламную автостратегию как готовую методику, но требование заранее договориться об условиях применимо и здесь.

У малого p нет встроенного направления эффекта. Версия могла заметно ухудшить результат. Даже положительное отличие может оказаться слишком маленьким для стоимости производства, согласования и обслуживания. Поэтому рядом нужны оценка эффекта, её неопределённость, единица расчёта и бизнес-критерий. Статистическая отметка отвечает только за свою часть решения.

Есть и более ранние условия: корректно ли распределены пользователи, независимы ли единицы анализа, не потерялись ли покупки, завершилось ли окно наблюдения. Если один человек попал в несколько групп, а отчёт считает каждый показ независимым покупателем, проблема находится внутри исходного теста. Умножение p на число вариантов не восстанавливает испорченные наблюдения.

Это отличает задачу от перекоса групп A/B-теста и смешения креатива с таргетингом. Сначала проверяют, можно ли доверять сравнению. Затем разбирают, сколько таких сравнений использовали для общего выбора. Два этапа нужны одновременно и не заменяют друг друга.

Увидеть риск серии на простом расчёте

Представим учебную ситуацию: реальных различий нет, каждая отдельная проверка имеет вероятность ложного срабатывания 0,05, а двадцать проверок независимы. Вероятность не получить ни одного ложного срабатывания равна 0,95 в двадцатой степени. Вероятность получить хотя бы одно составляет примерно 64,15%.

Одна проверка и серия. Только при отсутствии реальных различий и независимых проверках с ошибкой 0,05.
Только при отсутствии реальных различий и независимых проверках с ошибкой 0,05.

Это собственный математический пример с явно заданными условиями. Он не измеряет рекламный рынок и не сообщает, что 64,15% победителей любой команды ошибочны. Здесь речь о вероятности хотя бы одной ошибки во всей серии при отсутствии реальных эффектов. Доля ошибочных находок среди выбранных результатов - другой вопрос.

У реальных баннеров часто общий контроль и связанные показатели, поэтому предположение независимости может не выполняться. Тогда формулу нельзя механически подставлять в отчёт. Она нужна, чтобы увидеть, почему серия отличается от одного сравнения. Для рабочего анализа аналитик выбирает метод с подходящими условиями и обозначает, какой риск он контролирует.

Полезно также различать двадцать заранее заданных сравнений и двадцать, оставшихся после большого поиска. Если команда на самом деле перебрала сотни сочетаний, список отобранных двадцати не описывает весь процесс. Невозможно честно восстановить границу ошибки, просто объявив невидимую часть поиска несуществующей.

Для руководителя производства вывод практический: увеличение числа файлов должно сопровождаться планом проверки. Ограничение числа подтверждающих вопросов не запрещает творческий поиск. Оно помогает отделить широкий поиск идей от узкого решения, на которое команда собирается потратить следующий бюджет.

Проверить двадцать результатов в работающем примере

В учебном CSV записаны двадцать значений p. Они заданы редакцией для объяснения методов, не вычислены из реальных показов, кликов или ответов AI-модели. Три значения - 0,01, 0,03 и 0,04 - меньше 0,05. Остальные выше. В файле нет данных, по которым можно оценить направление и размер эффекта.

Три отметки ещё не три победителя. Заданные редакцией p, не результаты кампаний. Нет данных о направлении и размере эффекта.
Заданные редакцией p, не результаты кампаний. Нет данных о направлении и размере эффекта.

Если сравнивать каждую строку с 0,05 отдельно, три строки пройдут порог. Для простого правила Бонферрони порог каждой из двадцати проверок равен 0,05, делённому на двадцать, то есть 0,0025. Ни одна строка исходного набора его не проходит. Эквивалентная запись - умножить каждое p на двадцать, ограничить результат единицей и сравнить с 0,05.

Учебное pОбычный порог 0,05p после БонферрониПорог семейства пройден
0,01Да0,20Нет
0,03Да0,60Нет
0,04Да0,80Нет
0,001 в отдельном сценарииДа0,02Да

Последняя строка относится к отдельному переключаемому сценарию: в нём первое p заменено на 0,001. Это изменение исходных учебных данных, а не «улучшение» настоящего эксперимента. Оно показывает, что правило не запрещает все находки подряд. Но прохождение порога всё ещё не доказывает коммерческую пользу или положительное направление отличия.

Калькулятор серии позволяет сравнить отдельные проверки, Бонферрони и метод Холма на одном наборе. У метода Холма значения упорядочиваются, а пороги проверяются последовательно с учётом числа оставшихся гипотез. В интерфейсе написано «прошли порог», а не «найдены лучшие баннеры»: данных о величине эффекта здесь нет.

Выбрать правило под решение, а не под красивый итог

В документации R к p.adjust описаны несколько способов корректировки. Бонферрони удобен для объяснения арифметики, но не является универсально лучшим выбором. Документация отдельно отмечает преимущества метода Холма для контроля семейной ошибки. Поэтому демо показывает оба, а простой делитель не предлагается как обязательный алгоритм каждой платформы.

Контроль семейной ошибки относится к риску хотя бы одного ложного отклонения в выбранном семействе. Подходы к FDR решают другую задачу: ограничивают ожидаемую долю ложных находок среди отклонённых гипотез. Смена названия метода меняет смысл обещания, которое команда делает себе. Эти показатели нельзя подписывать одной колонкой «вероятность, что победитель настоящий».

При работе со статистическим модулем рекламной платформы сначала читают его методику. Он может учитывать последовательное наблюдение, множество показателей или иной порядок анализа. Повторная внешняя корректировка уже скорректированного результата тоже требует обоснования. Из названия «значимость» нельзя понять, что именно сделала система.

Короткое задание аналитику должно содержать не просьбу «найти самый мягкий тест», а решение, которое нужно защитить. Например: отобрать одну версию для подтверждающего сравнения; допустить несколько изменений продукта; исследовать перспективные направления без утверждения победы. Разные задачи могут оправдывать разные методы и разный допустимый риск.

Если инструмент показывает только готовую цветную отметку и не раскрывает её смысл, это ограничение отчёта. Команда может использовать такой результат как сигнал для следующего шага, но не обязана объявлять его доказанным преимуществом. Запросить описание метода обычно полезнее, чем вручную достраивать неизвестную статистику.

Разделить разведку и подтверждение

Широкий творческий поиск удобен для выявления гипотез. В нём можно смотреть варианты композиции, ясность обещания, соответствие товару, технические дефекты и предварительную реакцию. Но данные, на которых версия была выбрана как особенно удачная, уже повлияли на выбор. Их нельзя незаметно представить как совершенно независимое подтверждение этого же выбора.

Практический порядок может состоять из двух этапов. На первом команда отбирает небольшое число осмысленных кандидатов по заранее описанным признакам. На втором проводит подтверждающее сравнение на новых, подходящим образом распределённых наблюдениях. До второго этапа фиксируют основную метрику, длительность или другое корректное правило остановки, доступную выборку и допустимые изменения.

Поиск и подтверждение. Новая проверка не гарантирует успех и требует сопоставимых условий.
Новая проверка не гарантирует успех и требует сопоставимых условий.

Такой порядок не даёт автоматической гарантии. Повторный этап может совпасть с другой сезонностью, ценой товара, остатками или составом аудитории. Поэтому сохраняют условия обоих этапов и объясняют различия. Подтверждение означает новую проверку конкретной гипотезы, а не попытку добиться желаемого цвета в отчёте любой ценой.

Полезно также ограничить производственные различия. Если у кандидата одновременно изменились фон, товар, скидка и посадочная страница, команда проверяет весь комплект изменений. Она не сможет приписать результат только одному элементу. Название эксперимента должно соответствовать тому, что действительно поменялось.

Для AI-производства перед статистикой остаётся отдельная приёмка: товар сохранён, обещания подтверждены, версии пригодны для размещения. Проверка брендовых деталей и экономика принятого AI-ролика помогают отбраковать непригодное. Статистический поиск не делает ошибочный креатив допустимым.

Подготовить российский процесс без новой бюрократии

Российскому бренду не нужен отдельный отдел статистики ради каждого баннера. Нужен короткий документ, который связывает производственное решение с проверкой. Продюсер описывает различия версий, специалист закупки - распределение и ограничения площадки, аналитик - метод и данные, владелец бизнеса - минимально полезный эффект и цену следующего этапа.

До запуска в документе достаточно семи полей: вопрос; контроль и кандидаты; основная метрика; единица распределения; семейство сравнений; правило остановки; условие решения. Дополнительные срезы помечаются отдельно. После запуска к нему добавляют фактические изменения, потерянные данные и итог с неопределённостью. Такую запись можно хранить рядом с обычным брифом.

Нельзя обещать фиксированный объём выборки только по числу вариантов. Он зависит от исходного уровня метрики, минимального эффекта, выбранного анализа и доступного трафика. Если расчёта нет, число не придумывают. Лучше сузить подтверждающий вопрос, чем раздать малый поток десяткам версий и объявить отсутствие различий доказанной одинаковостью.

С расходами тоже нужна последовательность. Сначала проверить техническую пригодность и факты, затем исследовать кандидатов, после этого оплачивать подтверждение перспективного решения. Такой порядок не гарантирует экономию в процентах. Он делает видимым, какая часть денег ушла на производство, какая на поиск, а какая на проверку вывода.

Для агентства важен язык отчёта клиенту: «три версии прошли отдельный порог без учёта серии» отличается от «три версии доказанно лучше». «Различие не подтверждено» отличается от «эффекта нет». Эти формулировки помогают выбрать следующий шаг и не превращают статистическую осторожность в отказ от творчества.

Принять решение, которое можно воспроизвести

Перед расширением кампании откройте исходный список кандидатов и восстановите путь к выбранной версии. Сколько сравнений было запланировано? Какие показатели стали решающими? Были ли добавлены новые срезы? Как обработаны множественные проверки? Есть ли направление, величина эффекта и его неопределённость? Какие условия изменились за время отбора?

Если ответы сохранились только в памяти участника, результат пока трудно защищать. Достаточный рабочий пакет содержит версии креативов, исходные данные или разрешённую воспроизводимую выгрузку, метод анализа, журнал решений и понятное условие следующего этапа. Учебный калькулятор из этой статьи проверяет арифметику корректировки, но не заменяет этот пакет.

Разумное решение иногда состоит в подтверждающем тесте, иногда в отказе от слабой гипотезы, иногда в признании недостатка данных. Массовое производство полезно, когда увеличивает число пригодных идей. Число файлов и самый маленький p не должны становиться самостоятельным бизнес-результатом.

Продолжить помогут метрика внимания и её проверка, правила остановки пилота и связь брифа с бизнес-задачей. Определения baseline, holdout и бизнес-результата связаны с темой измерения.