Что сравнили исследователи
В препринте от 9 ноября 2026 года авторы CHO-Bench сохраняют карточку объявления, пул кандидатов и процедуру ранжирования. Меняется дополнительная текстовая подсказка к выбранной рекламе. Оценка сравнивает позицию и попадание на первое место с подсказкой и без неё. Авторы отдельно отмечают, что такой протокол не подтверждает независимую релевантность и реальные деловые результаты. CHO-Bench, полный текст
Авторы сообщают о более чем 1,19 млн парных оценок на пяти наборах. Объединение всех семи направлений подсказки не даёт устойчивого преимущества; предпочтительные сведения зависят от модели ранжирования. Это результаты выбранного офлайн-протокола.
Для рекламной команды это ограниченный, но проверяемый вопрос. Помогает ли более ясное описание применения продукта выбранной модели сопоставить его с запросом? Ответ зависит от ранжировщика, набора конкурентов и способа построения подсказки. Результат офлайн-теста нельзя автоматически превратить в прогноз рекламных продаж.
Важна и граница эксперимента. Если подсказку улучшили только у одного участника, сравнение описывает эту ситуацию. При изменении описаний остальных предложений порядок может стать другим. Для собственного теста сохраните версии всех карточек и назовите, какие из них вы меняли.
Позиция и пригодность отвечают на разные вопросы
В учебной таблице три запроса. Для Q1 объявление поднялось с четвёртого места на второе и осталось подходящим. Для Q2 с третьего на первое, но заранее размеченная пригодность равна нулю. В Q3 позиция и пригодность не изменились. Это вымышленные результаты для объяснения проверки.
Среднее улучшение позиции в наборе положительное. При этом второй запрос показывает, почему позиция сама по себе не доказывает пользу. Из учебного условия известно только, что место улучшилось без изменения пригодности. Причину такого изменения таблица не устанавливает.
Разметку пригодности нужно получать отдельно. Эксперт проверяет, выполняет ли продукт обязательные условия запроса, и сохраняет основание решения. Например, товар нужного класса может не подходить по размеру или совместимости. Название известного бренда и уверенный тон описания не отменяют такого ограничения.
Как выбрать собственную метрику
Если цель состоит в качестве порядка, нужны оценки релевантности для кандидатов. Документация scikit-learn по NDCG показывает один из способов оценивать ранжирование с отдельными значениями релевантности. Это дополнительный инструмент для своей проверки, а не название основной метрики CHO-Bench. scikit-learn, ndcg_score
Для небольшого русского набора можно начать проще. Отметьте запросы, где предложение соответствует обязательным условиям, где не соответствует и где информации недостаточно. Посмотрите, какие из них поднялись после правки. Сохраняйте неизвестные случаи отдельно. Нельзя объявлять их подходящими только потому, что ранжировщик поставил рекламу высоко.
Для реального делового вывода потребуется другой этап. Например, согласованный эксперимент с фактической рекламной доставкой и заранее выбранным результатом. Между подсказкой и продажей находятся аукцион, видимость объявления, переход и доступность продукта. Офлайн-позиция проверяет лишь часть этого пути.
Что проверить в российском описании
Возьмите несколько рабочих запросов и сохраните исходную карточку. Напишите подсказку через конкретный случай применения, характеристики и ограничения. Не добавляйте обещания, которых нет в описании продукта. Например, учебная карточка описывает настольный принтер этикеток шириной до 58 мм. Отдельная подсказка: «Подходит складу для узких товарных этикеток, не печатает листы A4». Запрос о складской маркировке может подходить; запрос о печати договора A4 не подходит. Это собственная проверочная пара, не данные CHO-Bench. Видимые заголовок, описание и креатив на время сравнения оставьте одинаковыми. Затем повторите оценку при одинаковом пуле кандидатов и зафиксированной версии модели.
Попросите второго проверяющего оценить пригодность, не показывая ему полученный ранг. Для спорных запросов сохраните объяснение и перечень недостающих сведений. Если подсказка улучшает место за счёт расплывчатого обещания, исправьте обещание и проведите проверку снова. Более высокая позиция с неверным описанием не закрывает задачу рекламодателя.
Такой набор можно включить в приёмку русскоязычных материалов для собственных рекомендательных систем. Он не требует обещать запуск конкретного зарубежного рекламного продукта в России. Проверку фактов в AI-поиске продолжает отдельный разбор, а риски оценки моделью материал о LLM-судье. Термины есть в глоссарии.





