Зафиксируйте входы и правило решения

Для первого испытания нужны сохранённая версия правил, разрешённый тестовый набор и ожидаемое поведение. Если во время проверки меняются ставки, модель и входной поток, причину различия трудно выделить. Воспроизведение на одних и тех же условиях позволяет отдельно увидеть зависимость от сигнала. Оно не воспроизводит все условия реального аукциона.

В справочнике NIST по дизайну испытаний цель и число факторов определяют схему сравнения. Здесь вопрос технический: что сделает система, когда один разрешённый признак отсутствует. Продажи и окупаемость этим опытом не оцениваются. Для них позже понадобится собственный дизайн и достаточный объём данных.

Нужно отдельно описать обязательные ограничения. Разрешение использования, допустимая география или запрет категории не должны исчезать вместе с удобным признаком интереса. Запасная логика действует только внутри разрешённой области. Если система при отсутствии данных не может подтвердить обязательное условие, продолжение закупки требует заранее согласованной безопасной политики.

Отличайте неизвестное от «нет»

В учебном наборе шесть возможностей показа. Для каждой заданы допустимость использования, география, контекст и признак интереса из клиентских данных. Базовая логика разрешает участие по интересу, а при отсутствии этого признака допускает согласованный контекстный вариант. Это выдуманное правило для разбора, не рекомендация для любого продукта.

На полных входах участие допустимо для трёх строк из шести. После удаления клиентского признака и перехода к контекстному правилу допустимыми остаются три строки. Однако совпадают только два положительных решения: одна прежняя возможность исключена, другая добавлена. В целом решения совпали в четырёх строках из шести. Одинаковый размер доступной базы скрыл изменение её состава.

Общий размер скрыл замену решений. Одно разрешение потеряно, другое появилось. Четыре решения из шести совпали; одинаковый размер не означает одинаковый состав.
Одно разрешение потеряно, другое появилось. Четыре решения из шести совпали; одинаковый размер не означает одинаковый состав.

В учебном CSV сохранены все шесть строк и оба решения. Пятая и шестая строки не проходят обязательные ограничения и остаются запрещёнными в обоих вариантах. Это отдельная проверка защиты. Равенство общей доли участия не компенсировало бы её нарушение.

Проверьте потерю нескольких признаков

Один выключенный сигнал может не показать зависимость, если его дублирует другой. Поэтому после одиночных проверок рассматриваются правдоподобные сочетания. Например, одновременно недоступны клиентский признак и подробная классификация страницы. Для каждой комбинации нужен ожидаемый ответ: отказ, более широкий согласованный вариант или запрос на ручную проверку.

В OpenRTB 2.6 описаны поля рекламного обмена. Само наличие структуры не гарантирует заполнения всех данных в каждой возможности показа. Продукт должен различать отсутствующее поле, значение с неизвестной точностью и подтверждённое отрицание. Использовать придуманное значение вместо пропуска нельзя.

Происхождение и давность тоже важны. В Data Transparency Standard они рассматриваются отдельно от эффективности сегмента. Сигнал есть в записи, но из-за давности он может уже не подходить для отбора аудитории. Поэтому набор испытаний дополняют устаревшим значением и конфликтующими версиями, сохраняя их происхождение.

Только потом переходите к ограниченному пилоту

Удаление признаков из сохранённой выборки не воспроизводит реальное исчезновение данных. На практике пропуски могут чаще встречаться у определённых устройств, площадок или групп покупателей. Равномерное случайное удаление не показывает такое смещение. Перед живым тестом аналитик проверяет фактический состав пропусков и планирует ограничения бюджета, аудитории и остановки.

В российском проекте эту работу выполняют аналитик таргетинга и инженер интеграции вместе с закупщиком. Они фиксируют долю решений по запасной логике, причины отказа, состав доступных размещений и нарушения обязательных условий. Показатели результата оцениваются отдельно. Система, которая всегда продолжает тратить деньги, ещё не доказала устойчивость полезного результата.

После проверки остаётся журнал ожидаемых и фактических решений с версией правил. Для следующего этапа пригодятся происхождение рекламных данных, контекстная модель и смысл страницы, подготовка CRM и материалы о сегментах. Прежде чем увеличивать бюджет, команда должна понимать, какой именно сценарий его теперь расходует.