Что можно решить на теневом этапе
- Допустимость действия проверяется по брифу, правам и данным, известным на момент рекомендации.
- Расхождение со специалистом требует разбора: корректными могут оказаться оба ответа или ни один.
- Переход к исполнению требует отдельного ограниченного пилота; качество рекомендации ещё не измеряет эффект закупки.
У агента пока нет второй кампании
Представим российское агентство, которое хочет поручить системе рекомендации по перераспределению бюджета. В обычном процессе специалист смотрит на доступные отчёты и принимает решение. В теневом контуре агент получает разрешённую копию того же состояния, формирует рекомендацию и сохраняет её отдельно. Кампания продолжает работать по действующему процессу.
Результат этапа: можно проверить допустимость решения и качество его основания. Нельзя сравнить фактический CPA специалиста с воображаемым CPA агента. В реальности исполнилась только одна последовательность действий, а альтернативная могла бы изменить инвентарь и последующие наблюдения.
NIST AI RMF связывает измерение риска с испытаниями до развёртывания, наблюдением в эксплуатации и документированием неопределённости. Это общая рамка. Протокол ниже является редакционным проектом для медиабаинга, а не готовым нормативом NIST или доказанным способом роста эффективности.
Сначала сузить решение
Пилот становится проверяемым, когда у рекомендации есть конкретный предмет. Например: предложить оставить, уменьшить или увеличить долю одной согласованной группы размещений в пределах разрешённого изменения. Формулировка «оптимизировать всю рекламу» смешивает слишком много задач и затрудняет разбор ошибки.
В карточке задачи фиксируются цель, допустимые действия, недоступные действия, предел изменения и данные, которых агент может запросить больше. Если для решения не хватает сведений, корректным результатом может быть отказ от рекомендации с точным вопросом. Предлагать изменение в каждом случае не требуется.
Для первого контура полезны архивные решения с известным доступным состоянием, затем поток новых задач без исполнения. Архив помогает отладить запись и разметку. Он не заменяет проверку на текущих данных: старые кампании могут не содержать сегодняшних типов инвентаря и ошибок интеграции.
Изоляция должна существовать вне промпта
Запись «не менять кампанию» в инструкции недостаточна, если подключённый инструмент по-прежнему позволяет её менять. Для теневого контура используются права только на чтение, отдельная среда хранения рекомендаций и ограниченный набор доступных функций. Разрешённые сетевые обращения тоже проверяются: отправка брифа подрядчику уже является внешним действием.
OWASP Excessive Agency выделяет избыточные функции, полномочия и автономность как источники риска. В прикладной приёмке интегратор подтверждает технический запрет записи. Тестовый вызов запрещённой операции выполняется в изолированной среде и должен быть отклонён независимо от текста ответа модели.
Копии медиапланов очищаются от ненужных персональных и коммерчески чувствительных полей. Команда заранее определяет, кто видит исходные документы, рекомендации и разборы. Теневой режим уменьшает риск исполнения, но сам по себе не решает вопрос допустимости обработки данных.
Снимок должен существовать до решения
Состояние на момент рекомендации включает версию брифа, лимиты, доступный остаток, отчётные события и время их получения. Важно различать дату события и дату, когда оно стало известно системе. Вчерашняя покупка, загруженная сегодня, могла быть недоступна специалисту во вчерашнем решении.
Агент не должен получать будущие конверсии при проверке старого выбора. Иначе он выглядит точнее за счёт информации, которой у реального процесса не было. Для воспроизводимости сохраняются время снимка, источник, фильтры и версии. Подменить это сегодняшней выгрузкой «за тот же день» нельзя.
Запаздывание отдельно разобрано в материале о созревании конверсий. Здесь правило приёмки уже: вход агента должен восстанавливаться таким, каким он был доступен в момент решения. Позднее уточнение может использоваться для разбора, но не для незаметного улучшения исходного ответа.
Карточка одной рекомендации
| Поле | Что сохраняется |
|---|---|
| Задача и время | Постоянный ID, момент и версия брифа |
| Вход | Снимок данных и известные ограничения |
| Предложение | Действие, величина изменения, либо отказ |
| Основание | Факты, источники и связь с критерием |
| Исполнение | Техническое подтверждение отсутствия записи |
Карточка не должна превращаться в длинное красивое объяснение. Достаточно конкретного факта: какой показатель пересёк какое согласованное условие и почему это допускает действие. Свободный текст не заменяет структурные значения, по которым можно восстановить рекомендацию.
Журнал хранит также версию модели, инструментов и правил. После обновления системы результаты разных версий рассматриваются раздельно. Если команда не может определить, какая версия сделала предложение, сравнение по неделям теряет смысл.
Что означает расхождение
Согласие с трейдером не является доказательством правильности. Специалист может ошибиться, а агент может повторить ошибку. Поэтому сначала разметчик проверяет действие по брифу и доступным свидетельствам, затем разбирает различия рекомендаций.
| Тип расхождения | Что проверять | Возможное решение |
|---|---|---|
| Разные исходные данные | Снимок и время поступления | Исправить сопоставление входа |
| Разный смысл ограничения | Версия и формулировка брифа | Уточнить правило |
| Допустимы оба решения | Обоснование и последствия | Оставить как неопределённость |
| Нарушено обязательное условие | Факт нарушения | Остановить допуск сценария |
| Нужен неизвестный результат | Можно ли его наблюдать | Не объявлять победителя |
Разбор желательно проводить с человеком, который не знает, чей ответ перед ним, если формат задачи позволяет скрыть авторство. Это уменьшает риск автоматически предпочесть машину или привычного специалиста. Спорные случаи сохраняются как спорные; их нельзя принудительно записывать в правильные ради удобной сводки.
Учебная приёмка ста задач
Допустим, для вымышленного теста размечено сто рекомендаций. В восьмидесяти основание и действие допустимы, в пяти нарушено обязательное ограничение, в пятнадцати данных недостаточно для уверенного решения. Это учебные числа, не качество какой-либо модели и не рекомендуемый порог выпуска.
Доля допустимых рекомендаций от всех задач равна 80%. Если исключить пятнадцать неопределённых и делить только на разрешённые к оценке, получится примерно 94,1% допустимых среди 85. Обе записи описывают одну выборку, но отвечают на разные вопросы. Пять нарушений нельзя спрятать ни изменением знаменателя, ни высокой долей согласия с человеком.
В итоговой карточке отдельно видны обязательные нарушения, качество оснований, доля задач с достаточными данными и ручная нагрузка. Для финансового запрета команда может определить остановку после одного подтверждённого нарушения. Универсальный безопасный процент для всех медиапроцессов отсутствует.
Что измеряется по времени и труду
Скорость ответа агента не равна экономии времени команды. В измерение входят подготовка входа, ожидание, чтение рекомендации, уточнение, проверка источников и оформление решения. Работа, перенесённая от трейдера к аналитику, не исчезает из затрат.
Время сравнивается на сопоставимых задачах, включая сложные случаи и отказы. Если агент получает только стандартные ситуации, а специалист обрабатывает исключения, разница будет отражать состав работы. В журнале сохраняются категория сложности и причина дополнительной ручной проверки.
MRC Outcomes and Data Quality Standards дают независимый контекст качества и ограничений измерения. Они не превращают совпадение рекомендаций в причинный эффект рекламы. Для оценки нового способа закупки потребуется отдельный дизайн с реальным, разрешённым воздействием.
Где заканчивается результат теневого этапа
Теневая проверка может показать, что агент соблюдает заданные ограничения на доступной выборке, восстанавливает основания и не создаёт неприемлемую ручную нагрузку. Она может обнаружить дефекты входа или брифа до расширения прав. Это самостоятельная операционная польза.
Следующий этап, если он обоснован, ограничивается заранее разрешённым действием, бюджетом и механизмом остановки. Его нельзя начать незаметно, просто подключив к прежнему агенту инструмент записи. Меняется уровень риска, значит, нужны новое разрешение процесса и повторная проверка инструментов.
Российская команда начинает с одного сценария и карточки снимка. Интегратор отвечает за изоляцию, медиапланер за правила, аналитик за единицы и время, руководитель процесса за допуск. Проверка происхождения источников и защита от повторного заказа закрывают другие классы ошибок. Определения guardrails, baseline и delivery, а также хаб AI помогут связать теневой этап с последующим контролируемым внедрением.
