Сначала решите, что должна определять модель

Контекстная модель присваивает странице тему или другой смысловой признак. Это ещё не решение, подходит ли размещение конкретному бренду. Статья о новостях медицины может быть правильно отнесена к здоровью, но не соответствовать рекламной задаче производителя инструмента. Ошибку смысла и ограничение медиаплана проверяют раздельно.

Content Taxonomy IAB Tech Lab задаёт язык описания контента и имеет версии. При тесте нужно зафиксировать конкретный набор категорий. Наши учебные русские названия ниже служат для объяснения; это не официальные коды IAB и не заявление о поддержке таксономии российским поставщиком.

В MRC Enhanced Content Level Context and Brand Safety, сентябрь 2018 рассматриваются проверка на уровне содержания, таксономия и роль человека. Документ не подтверждает точность конкретного классификатора. Для этого нужен отдельный набор размеченных данных.

Подготовьте страницы, которые представляют реальную задачу

Возьмите разрешённую выборку из будущего потока размещений. Сохраните дату, адрес, снимок содержания и версию страницы. Новости и пользовательские материалы меняются: сегодняшняя правильная категория может не подходить вчерашней версии того же URL.

В обычную выборку должны попасть и подходящие, и неподходящие страницы в реальных пропорциях. Отдельно добавьте сложный набор с неоднозначными словами, отрицаниями и несколькими темами. Его результат показывают отдельно: специально подобранные трудные случаи не описывают среднюю точность всего потока.

Вымышленный фрагмент страницыУчебная темаПричина
Как сверлить бетонную стенуРемонтМатериал и инструмент
Как проходит лечение зубаЗдоровьеМедицинская процедура
Золотая медаль на школьном турниреСпорт / образованиеНе торговля золотом
Кредит доверия тренеруСпортНе банковский продукт
Обзор поездки и стоимости страховкиНесколько темНужен контекст целой страницы

Мы составили эти фрагменты специально для статьи. Они не взяты у издателей и не являются наблюдёнными ошибками модели. Нельзя измерять понимание всей страницы только по придуманному заголовку, если в реальном продукте анализируются полный текст, изображения и окружение.

Независимая разметка и право на неопределённость

Пусть два проверяющих сначала независимо назначат категории по одной инструкции. Затем разберите расхождения и сохраните причину итогового решения. Если разметчики не согласны, модель нельзя уверенно объявить ошибочной только потому, что она выбрала один из допустимых смыслов.

Для многотемной страницы можно разрешить несколько категорий или оставить статус «неоднозначно». Главное, чтобы правило было одинаковым для человека и модели. Удаление всех сложных страниц из проверки делает оценку удобнее, но отдаляет её от будущей закупки.

Не показывайте модели правильную разметку при финальном испытании. Часть примеров оставьте вне набора, по которому подбирают инструкции и правила. После изменения правил классификации неоднозначного слова проверяйте новые страницы с тем же смысловым конфликтом, а не только прежний удачный пример.

Смотрите на два вида ошибок

В учебной проверке категории «ремонт» есть 20 действительно подходящих страниц. Модель включила 25: 15 верных и 10 посторонних. Ещё 5 подходящих она пропустила. Доля верных среди включённых составляет 60%, а найденных среди всех подходящих 75%. Это разные характеристики; общий процент правильных ответов может скрыть обе проблемы.

Все числа условные, модель редакцией не испытывалась. Для реального решения нужно знать вес ошибок. Посторонняя страница в закупке и пропуск хорошего размещения по-разному влияют на бюджет и охват. Порог уверенности выбирают по задаче бренда и проверяют на отложенных данных, не подгоняют после желательного результата.

Два вида ошибок категории «ремонт». Верные среди включённых: 15 из 25, или 60%. Найденные среди подходящих: 15 из 20, или 75%. Это не измерение конкретной модели.
Верные среди включённых: 15 из 25, или 60%. Найденные среди подходящих: 15 из 20, или 75%. Это не измерение конкретной модели.

На небольших категориях показывайте количество примеров, а не только процент. Один промах из двух страниц нельзя обсуждать с той же уверенностью, что сотни ошибок в большой проверке. Если поставщик не возвращает категорию или содержание недоступно, это отдельная группа, а не автоматически правильный ответ.

В учебном CSV есть вымышленные фрагменты, объяснения и расчёт ошибок. В свой протокол добавьте версию контента, таксономии, модели и решения разметчиков. Проверку запретов бренда затем проведите отдельно по методике избыточных исключений, а происхождение исходных признаков уточните через паспорт данных.