Две доли, которые нельзя менять местами

Доля ложных тревог отвечает на вопрос: какая часть всех нормальных показов была ошибочно помечена. Точность среди положительных решений, precision, отвечает на другой вопрос: какая часть всех помеченных показов действительно относится к нарушению. У этих долей разные знаменатели: все нормальные показы и все помеченные показы.

Определения разобраны в учебном материале Google ML. Формула precision также дана в документации scikit-learn. Эти источники объясняют классификацию. Они не сообщают качество какого-либо рекламного антифрод-поставщика.

Прежде чем применять формулы, нужно определить, что означает разметка. Что считается нарушением, кто установил его наличие, к какому событию относится метка? Флаг может обозначать техническое подозрение, непригодность для конкретного бренда или подтверждённое недействительное событие. Смешение этих классов создаст проблему ещё до арифметики.

Сто тысяч учебных показов

В собственном примере редакции ровно 100 тысяч показов. Истинных нарушений 100, нормальных показов 99 900. Пусть фильтр находит 90% нарушений и ошибочно помечает 1% нормальных. Эти параметры вымышлены; они не взяты из клиентской кампании и не являются оценкой рынка.

Из ста нарушений фильтр найдёт 90 и пропустит десять. Среди 99 900 нормальных он создаст 999 ложных тревог. Всего помечено 1089 показов, из которых верно помечены 90. Доля верных флагов составляет примерно 8,26%. Низкая доля ложных тревог внутри большой нормальной базы дала много ложных флагов.

CSV условий и рабочий калькулятор позволяют повторить расчёт. Калькулятор показывает ожидаемые количества по введённым долям. Он не умеет установить настоящую долю нарушений в неизвестном рекламном трафике.

Почему другая база меняет результат

Оставим те же 90% обнаружения и 1% ложных тревог, но увеличим число нарушений до десяти тысяч из ста тысяч. Тогда верных флагов будет 9000, ложных 900. Точность среди помеченных составит около 90,91%. Изменение базы заметно изменило ответ при прежних двух характеристиках фильтра.

Это не означает, что модель в реальности сохраняет одинаковые характеристики на любых источниках. На другой площадке, на другом устройстве или при другом поведении пользователей фильтр может ошибаться иначе. Учебный расчёт удерживает параметры постоянными только для того, чтобы показать вклад распространённости нарушения.

Поэтому показатель, проверенный на специально обогащённом наборе подозрительных событий, нельзя без пояснения перенести на обычный поток закупки. Нужны описание состава проверочной выборки и способ пересчёта к той среде, где будет принято решение.

Какая проверка нужна российской рекламной команде

Начать стоит с одного названного класса нарушения и одного периода. Независимый от решения фильтра способ проверки должен дать основание считать событие нарушением или нормальным. Там, где такой проверки нет, честным состоянием остаётся неопределённость. Её нельзя незаметно включить в правильные ответы модели.

Если проверять только флаги, можно исследовать долю подтверждений среди них. Но для оценки пропущенных нарушений и ложных тревог относительно всей нормальной базы нужны также непомеченные события. При неравномерном отборе частей потока учитывают вероятности отбора. Простая сумма специально отобранных строк не восстанавливает исходное распределение.

У поставщика полезно запросить четыре числа: сколько нарушений найдено, сколько нормальных событий ошибочно помечено, сколько нарушений пропущено и сколько нормальных событий осталось без флага. Рядом нужны источник разметки, период, тип инвентаря и неопределённые случаи. Одного процента «точности» недостаточно, если неизвестно, как он посчитан.

Что делать с флагом в рабочей закупке

Расчёт не предписывает игнорировать фильтры. Он показывает цену смешения разных характеристик. Для автоматического исключения, ручной проверки и запроса дополнительных данных могут быть разные правила. Их выбирают с учётом стоимости пропущенного нарушения и ошибочного ограничения нормального трафика.

Также нужно различать оценку числа событий и потери денег. Если ошибочно помеченные показы стоят иначе, доля по количеству не равна доле по расходу. Сначала принимают решение о событиях, затем по согласованной процедуре сверяют денежный результат. Формула precision сама по себе не служит основанием для перерасчёта счёта.

При отсутствии флагов точность среди них не вычисляется: знаменатель равен нулю. Калькулятор должен сообщить это явно. Подстановка 100% создала бы видимость идеального фильтра, хотя он мог вообще ничего не искать.

Практическое продолжение: расхождения двух верификаторов, запрос на перерасчёт и ограниченность isTrusted. В глоссарии есть определения рекламного фрода и измерения; связанные проверки собраны в разделе качества инвентаря.