У каждой остановки свой предмет
Российский продавец запускает небольшой медийный тест через агентство. Договор разрешает определённые категории площадок и одну согласованную версию креатива. Аналитик получает события сайта и оплаты из внутренней системы. Руководитель закупки управляет DSP, платформой покупки рекламы, но не может исправить состояние заказа на стороне магазина.
Первая группа правил защищает от неприемлемого события. Это расход вне согласованного бюджета, запрещённое размещение, использование отозванного материала или другой конкретный риск, названный владельцем. Здесь остановка не ждёт статистической значимости. Даже единственный подтверждённый случай может требовать действия, если именно такое условие записано заранее.
Вторая группа касается качества наблюдения. Потеря событий оплаты мешает оценить результат и может мешать оптимизации. Однако молча исчезнувшая оплата ещё не доказывает отсутствие покупок. Команда проверяет исходную систему и доставку данных, а в отчёте отмечает неполноту. Нельзя заменить неизвестное нулём и назвать кампанию неэффективной.
Третья группа завершает проверку гипотезы. Заранее выбирают метрику, срок, метод анализа и то, кого или что распределяют по группам: пользователей, устройства или регионы. Слабый промежуточный результат способен быть поводом экономически прекратить опыт, но не обязательно доказывает отсутствие эффекта. Поэтому в журнале отдельно записываются действие с бюджетом и допустимый исследовательский вывод.
В MRC Outcomes and Data Quality Standards.pdf) качество и определения данных являются частью измерения результата. Стандарт не задаёт универсальную кнопку остановки рекламы. Матрица ниже разработана редакцией, её пороги учебные и должны быть заменены на условия конкретного пилота.
Сначала назначить действие и его владельца
Фраза «при ухудшении остановить» непригодна для дежурной смены. Непонятно, кто увидит ухудшение, что именно отключит и когда сможет вернуть. Лучше привязать сигнал к объекту: одному креативу, маршруту закупки, группе объявлений или всему пилоту. Тогда исправление одного файла не превращается в необъяснённое обнуление теста.
В учебном примере ошибочная версия ролика отключается целиком по её идентификатору. Проверенный запрещённый маршрут блокируется для дальнейшей закупки и сохраняется для разбора. Если неизвестно, все ли оплаты попали в отчёт, пилот ставится на паузу, когда без этих данных им нельзя управлять. Степень вмешательства выбирается по возможному вреду и устройству кампании, а не по универсальному правилу «всегда выключать всё».

Каждая команда должна иметь подтверждение. Ответ API «принято» может означать лишь постановку запроса в очередь. Руководитель закупки проверяет фактическое состояние объекта, прекращение новых заказов и остаточный расход. Если подтверждения нет в согласованный срок, используется заранее доступный резервный способ: ручная остановка в авторизованном кабинете или обращение к дежурному подрядчика.
Роли стоит записать поимённо в рабочем документе. В открытом примере используются только должности. Закупщик выполняет отключение, аналитик подтверждает состояние данных, владелец бренда разрешает новую редакцию материала. Автоматизация может выполнить заранее разрешённое безопасное действие, но не должна сама разрешать собственное возобновление после неустранённого нарушения.
| Сигнал в учебном пилоте | Первое действие | Условие возвращения |
|---|---|---|
| Подтверждён неверный креатив | Отключить эту версию | Новая версия одобрена и проверена по адресу показа |
| Потеряно необходимое измерение оплаты | Приостановить зависимый от него пилот | Источник и доставка исправны, пропущенный период отмечен |
| Прогноз расхода с остатком превышает предел | Запретить новые покупки | Сверен остаток и явно выделен новый допустимый предел |
| Итоговый интервал не позволяет принять решение | Завершить по протоколу без победителя | Новая гипотеза требует нового согласованного теста |
Открытый CSV с инцидентами дополняет таблицу владельцами, доказательствами и состоянием возобновления. Это вымышленные записи. Их задача показать полноту решения, а не предложить нормативные сроки для российского рынка.
Оставить резерв на расход, который ещё не остановился
Предел пилота в учебном примере составляет 120 тысяч рублей. В выставленных расходах видно 72 тысячи, ещё 18 тысяч подтверждены, но пока не попали в счёт. Текущая обязательная сумма уже равна 90 тысячам. Остаток до предела составляет 30 тысяч, хотя в одном запаздывающем интерфейсе можно увидеть 48 тысяч.
После команды остановки также возможна доставка ранее принятых заказов и запоздалая отчётность. Для учебного расчёта команда условно заложила до 30 минут такого перехода при максимальном темпе 1200 рублей в минуту. Резерв получается 36 тысяч. Текущие обязательства вместе с ним достигают 126 тысяч, то есть превышают предел на 6 тысяч.

Это означает, что ждать достижения 120 тысяч в запаздывающем счётчике уже нельзя. При выбранных условиях остановка должна сработать раньше, когда наблюдаемая обязательная сумма приблизится к 84 тысячам. На текущей отметке 90 тысяч нужно прекратить новые покупки и сверить остаток. Данный расчёт показывает логику резерва, не гарантирует фактический максимум расхода любой платформы.
Числа 30 минут и 1200 рублей вымышлены, параметры сохранены в учебном JSON. Чтобы использовать такую защиту, подрядчик должен подтвердить верхнюю границу темпа, частоту проверки, задержку выполнения команды и судьбу уже принятых обязательств. Если верхние границы неизвестны, 36 тысяч нельзя считать доказанным запасом. Нужны более жёсткий технический лимит, меньший объём обязательств или иная архитектура запуска.
В договоре и журнале стоит развести момент обнаружения, отправки команды, её подтверждения и прекращения новых покупок. Эти отметки помогут разобрать остаточный расход без обвинения по одному позднему счёту. Само сообщение «кампания остановлена» не доказывает, что ранее принятые расходы отменены.
Более подробная сверка денег в programmatic нужна, если расход распределён между несколькими участниками. Здесь важна только та часть реестра, которая отвечает за управляемость предела пилота. Складывать выставленные и подтверждённые расходы можно лишь после проверки, что одни и те же обязательства не учтены дважды.
Отделить дежурный контроль от поиска красивого результата
Расход, доступность посадочной и корректность креатива можно контролировать постоянно. Это рабочая безопасность. Выбирать статистический момент завершения, каждый час проверяя обычный показатель значимости и останавливаясь на первой удаче, другой процесс. Такой выбор меняет свойства вывода.
В работе Johari, Pekelis и Walsh рассматривается проблема непрерывного наблюдения A/B-тестов и методы последовательного анализа. Здесь проверен abstract, математические доказательства не воспроизводились. Для команды практический вывод ограничен: если нужен свободный выбор момента остановки по статистике, метод должен поддерживать такой режим и быть заранее согласован с аналитиком.
Альтернатива для простого пилота состоит в фиксированном плане. Команда заранее задаёт срок, целевую численность, допустимые задержки результата и момент анализа. На дежурном экране можно видеть промежуточные числа, но нельзя после каждого просмотра менять правило, чтобы объявить победителем понравившийся вариант.
Срок сам по себе ещё не обеспечивает достаточность данных. Если за выбранное время пришло меньше подходящих наблюдений, итог может остаться неопределённым. В протоколе следует сохранить этот исход. Добавлять дни до появления удобного результата, а затем называть анализ фиксированным, некорректно.
Рамка NIST по выбору экспериментального дизайна помогает начать с цели и факторов. Она не заменяет расчёт мощности для конкретной метрики. Для редких покупок пригодится отдельный разбор испытаний при малом числе конверсий, а не снижение требований к выводу после начала опыта.
Возобновлять исправленную версию, сохраняя след остановки
После аварии кампания не должна незаметно продолжиться под тем же описанием. В журнале сохраняются причина, затронутые объекты, расходы до и после команды, период неполных данных и фактическое исправление. Новая версия креатива получает собственный ключ, а новое правило отбора свою отметку начала действия.
Например, аналитик восстановил передачу оплат, но не смог достроить два часа пропущенного периода. Техническая работа системы снова возможна. Однако сравнение результатов за этот отрезок остаётся неполным. Возобновление расхода не превращает неизвестные покупки в наблюдавшиеся и не разрешает исключить неудобный период только из одной группы теста.
Руководитель исследования решает, сохраняется ли исходный дизайн после исправления. Иногда можно продолжить с явной отметкой и заранее допустимой обработкой пропуска. Иногда изменение затронуло назначение групп или сам механизм размещения, поэтому новый запуск разумнее считать отдельным этапом. Решение записывается до просмотра желаемого итога новой версии.
Для разрешения возобновления нужны два подтверждения: неисправность устранена и риск повторения стал допустимым по согласованным условиям. Скриншот кнопки не доказывает исправность маршрута. Проверка включает запрос, фактическое состояние, контрольный результат и наблюдение за остаточным расходом в пределах выбранного протокола.
Рабочая матрица проходит приёмку, когда дежурный сотрудник по каждой строке может назвать объект действия, подтвердить исполнение и найти того, кто разрешит возврат. Если сигнал описан как «что-то не так с данными», подготовка не закончена. Перед первым расходом полезно разыграть один сбой и одну отменённую тревогу без реальной закупки.
Различать результат и его объяснение помогают окно атрибуции и инкрементальность. Более широкая постановка задачи разобрана в медийном брифе, продолжения собраны в базе знаний. Остановка пилота является управленческим действием; доказательство эффективности требует собственного основания.





