Состав закупки изменился, но правило осталось прежним
В учебную первую неделю агент получил 20 тысяч возможностей типа А и 10 тысяч типа Б. Возможность здесь означает доступное предложение размещения, а не уже купленный показ. Агент выбрал 5 тысяч А и 5 тысяч Б. Доля Б в закупке составила половину.
На второй неделе предложение изменилось: 10 тысяч возможностей А и 20 тысяч Б. Агент выбрал 2 500 А и 10 тысяч Б. Теперь на Б приходится 80% закупки. По одним этим долям легко решить, что агент «ушёл в другой инвентарь». Однако доля принятых предложений внутри каждого типа осталась прежней: 25% для А и 50% для Б.
Вся перемена состава в этом искусственном примере объясняется входящими возможностями. Это не доказывает, что решение экономически верно, но позволяет не искать ошибку модели там, где изменился рынок. Дрейфом дальше будем называть наблюдаемое изменение входов, поведения или качества результата, требующее проверки относительно согласованной базы.
| Учебный период | Возможностей А / Б | Выбрано А / Б | Доля Б в выборе |
|---|---|---|---|
| Исходный | 20 000 / 10 000 | 5 000 / 5 000 | 50% |
| Изменился рынок | 10 000 / 20 000 | 2 500 / 10 000 | 80% |
| Другой сценарий: изменился выбор | 20 000 / 10 000 | 2 000 / 8 000 | 80% |
Третья строка задаёт иной сценарий. Входы остались как в начале, но агент принимает уже 10% А и 80% Б. Здесь причина действительно находится в выборе или его реализации, а не в показанной структуре предложения. Все числа вымышлены, на реальном агенте такой тест редакция не проводила.

Наблюдайте четыре слоя отдельно
Первый слой описывает входы: доступные размещения, цены, географию, ограничения и свежесть данных. Если поставщик перестал передавать один тип площадок, агент больше не может выбрать его даже с прежними правилами. Сохраните также причины отбраковки до принятия решения.
Второй слой относится к выбору. Какие предложения были доступны и какие из них агент рекомендовал или отправил в закупку. Для каждого решения нужны версия задания, использованные данные и основание. Доля выбранного внутри сопоставимой группы часто объясняет больше, чем общий состав бюджета.
Третий слой показывает исполнение. Рекомендованная площадка могла не принять ставку, креатив мог не пройти проверку, а команда могла отклонить предложение. Поэтому план агента и фактическая поставка не должны храниться как одно действие. Разрыв между ними проверяют отдельно.
Четвёртый слой относится к результату: подтверждённому качеству, расходу, задержанным покупкам и ограничениям измерения. Даже стабильное правило выбора способно давать худший результат после изменения рынка. Мониторинг нужен и для этого случая, а не только для поиска изменений в самой модели.

В публичном описании исследования NIST о наблюдении за работающими AI-системами от 6 марта 2026 объясняется, почему испытаний до запуска недостаточно в меняющейся среде. Наш рекламный журнал самостоятельный; полный эмпирический отчёт NIST не используется как источник чисел.
Выберите сравнимую базу
Сравнивать понедельник распродажи с обычным воскресеньем без поправок мало полезно. Для начала отметьте сезонные изменения, акции и состав кампаний. Контрольный период должен отвечать вопросу проверки: изменилось ли поведение при сопоставимых входах или поменялась сама доступная среда.
Разбейте закупку на понятные группы: формат, площадка, устройство, территория, ценовой диапазон. Слишком крупная группа скрывает проблему, слишком мелкая даёт случайные скачки на нескольких событиях. Границы выбирают по объёму и риску, а не копируют универсальный порог из статьи.
У доступной возможности тоже должен быть устойчивый ключ. Если поставщик повторил одно предложение несколько раз, агент мог получить больше сообщений без расширения реального выбора. Удаление таких повторов и единица подсчёта должны совпадать в исходной и новой неделе. Сначала восстановите входную базу, затем сравнивайте долю принятого: иначе повторная доставка сама создаст ложный сигнал изменения поведения.
Проверьте полноту покрытия. Если часть идентификаторов площадок пропала, выросшая доля «неизвестного» сама по себе важнее красивой стабильности известных строк. Нельзя исключить неизвестные записи из знаменателя и затем объявить состав неизменным. Причина потери поля должна попасть в отдельную задачу.
В глоссарии OWASP Model Monitoring раздельно рассматриваются входы, выходы, качество и действия инструментов. Это независимый методический контекст, не готовая рекламная система наблюдения. Мы не переносим в медиабаинг предположение, что всякое изменение автоматически означает атаку.
Сохраните причины и версии
Одной фразы агента «выбрал более эффективные площадки» недостаточно. Нужны конкретные входные показатели, ограничения задачи и отправленные команды. Если источник не позволял оценить продажи, агент не должен объяснять решение ростом продаж, которого он не наблюдал.
В журнале рядом с решением храните версию модели, инструкции, каталога поставщика, правила цены и разрешений. Если после обновления каталога поле «стоимость тысячи» стало приходить в другой единице, поведение изменится без новой модели. История версий позволяет проверить эту гипотезу быстро.
У полезного объяснения есть связь с наблюдаемым изменением. Например: «Доля Б выросла, потому что его доступный объём удвоился, а доля принимаемых предложений не изменилась». Это утверждение можно восстановить по первым двум строкам учебной таблицы. При третьем сценарии такое объяснение уже не подходит.
В CSV журнала сохранены три учебных сценария с входами и выбором. В рабочую версию добавьте время, версию данных, решение проверяющего и ссылку на доступный ему журнал входных предложений и команд агента. Само объяснение модели не считается подтверждением причины.
Порог сигнала не равен автоматической остановке
Для недопустимой команды нужен жёсткий запрет независимо от средней эффективности. Для изменения доли площадок полезнее диагностический сигнал: проверить, достаточно ли наблюдений, сохранилась ли база и есть ли объяснение. Это разные классы реакции.
Например, команда может заранее выбрать учебный сигнал роста доли одного типа на 20 процентных пунктов и потребовать ручной разбор. Число здесь условное, не отраслевой норматив. В первом и третьем сценарии сигнал сработает одинаково, но причина и дальнейшее решение будут разными.
При повторяющихся проверках обычный случайный шум будет иногда давать тревогу. Поэтому пороги и частоту просмотра выбирают с аналитиком, учитывая множественные проверки и стоимость ложной остановки. Добавлять десятки показателей без владельцев недостаточно: у каждого сигнала должен быть адресат и действие.
Если качество измеряется с задержкой, сравнивайте созревшие периоды. Вчерашние показы могут ещё не иметь завершённых покупок. Ограничения такого сравнения подробно разобраны в материале о поздних конверсиях. Нулевой результат незрелой группы не доказывает ухудшение выбора.
Как проверить предполагаемую причину
Зафиксируйте набор доступных предложений и повторите решение в изолированной среде с прежней и новой версией правил. Это позволяет проверить воспроизводимость различия на одних входах. Разницу в реальном бизнес-эффекте такая проверка ещё не устанавливает.
Затем меняйте по одному подозрительному фактору: каталог, единицу цены, инструкцию или доступный инструмент. Если пришлось менять несколько сразу, сохраните это ограничение. Исправление, которое снова дало желательный состав закупки, не доказывает, что найдена единственная причина сбоя.
Не запускайте повторную запись в рабочем кабинете ради исследования. Для этого есть набор испытаний до доступа к бюджету и теневой режим. Они помогают проверить решение без повторной траты, но не заменяют наблюдение после реального запуска.
Возврат к работе тоже требует проверки
Если причина подтверждена, исправьте данные или правило и повторите обязательные задания. Верните прежний способ закупки только там, где команда знает, что он совместим с текущими условиями. Откат модели не восстановит отсутствующие предложения или изменившуюся цену.
В итоговом журнале должны остаться сигнал, найденная причина, проверка исправления и разрешённый режим работы. Если причину установить не удалось, уменьшите объём самостоятельных действий и оставьте решение человеку. Честный статус «объяснение не подтверждено» полезнее уверенной записи о дрейфе модели без проверки входов.





