Сначала сохранить настоящую сумму

У российского магазина новый рекламный сценарий: часть аудитории получает другое объявление, остальные продолжают видеть прежнее. Аналитик собирает покупки участников за согласованный срок. Большинство ничего не купило, несколько человек сделали небольшие заказы, один оформил дорогой. Такого распределения достаточно, чтобы среднее заметно изменилось из-за одной записи.

Сам по себе большой заказ не является ошибкой. У магазина могут быть дорогие товары, корпоративные покупатели или несколько покупок одного клиента. Поэтому первая версия отчёта должна сохранять исходные суммы. Когда аналитик меняет значения, рядом нужны правило преобразования и результат без него. Иначе коммерческий директор не сможет понять, сколько денег действительно поступило.

Главный вопрос здесь узкий: что делать с сильным влиянием редких сумм на сравнение двух групп. Он отличается от проверки правильности случайного распределения или выбора удобного окна атрибуции. Если группы сформированы неправильно, ограничение сумм не восстановит эксперимент. Эти проверки выполняют до обсуждения выбросов.

Двадцать участников и два противоположных результата

Учебные исходные суммы: контроль5200 рублей, тест1300, по10 участников. Средние520 и130 рублей.
Собственные учебные данные: в каждой группе по десять участников. Реальные суммы сохраняются до любых преобразований.

В собственном учебном наборе редакции по десять участников в каждой группе. В контроле восемь нулей, покупка на 200 рублей и покупка на 5000 рублей. В тесте восемь нулей, 300 и 1000 рублей. Все числа вымышлены. Они нужны для арифметики, это не результат клиентской кампании и не достаточная выборка для решения о рекламном бюджете.

Контроль собрал 5200 рублей, тест 1300. После деления на десять получаются средние 520 и 130 рублей на участника. Разница теста с контролем составляет минус 390 рублей. Количество купивших одинаковое: по два человека. Медиана тоже одинаковая и равна нулю, поскольку больше половины участников ничего не купило.

Теперь временно ограничим вклад одного участника тысячей рублей. Пять тысяч в контроле превратятся в тысячу, остальные значения останутся прежними. Ограниченные суммы составят 1200 и 1300 рублей, средние 120 и 130. Разница станет положительной: десять рублей на участника. Реальная выручка магазина от этой операции не изменилась.

Исходный CSV содержит все двадцать записей. В рабочем расчёте можно менять общий потолок и видеть обе версии. Стенд сохраняет нулевых участников и знаменатель десять в каждой группе. Он не рассчитывает значимость и не называет победителя.

Что именно меняется после ограничения

Общий потолок1000 рублей заменяет контрольную покупку5000 на1000. Средние после преобразования120 и130 рублей, фактическая выручка остаётся прежней.
Учебный общий потолок на участника. Ограниченная средняя не заменяет настоящую выручку и не является выводом о значимости.

Правило «учитывать не более тысячи на участника» создаёт другой показатель. Его можно назвать средней выручкой с ограничением вклада одного участника. Обычная средняя выручка отвечает на вопрос о фактически полученных деньгах. Ограниченная описывает результат после заранее выбранного преобразования. Обе цифры имеют смысл, если их названия и назначение понятны.

В примере 4000 рублей контрольной выручки перестали влиять на вторую метрику. Они не исчезли из бухгалтерии, не стали недействительными и не превратились в расходы. Поэтому ограниченный показатель нельзя подставить в отчёт о выручке или использовать как фактический числитель ROAS, отношения приписанной выручки к рекламным расходам. Для финансовой сверки остаются исходные заказы и согласованные правила возвратов.

Небольшая разница между ограниченными средними не опровергает крупную покупку. Она показывает, что сравнение чувствительно к способу учёта хвоста распределения. Это повод разобраться, что произошло и какую величину команда хотела измерить. Выбор более спокойного графика сам по себе не решает этот вопрос.

Крупная покупка требует проверки, а не ярлыка

Первый запрос аналитика адресуют владельцу данных: существует ли заказ, какая у него валюта и единица суммы, не повторился ли он в выгрузке. Затем проверяют статус оплаты, возврат, принадлежность участнику и попадание в срок наблюдения. Ошибка копеек и рублей может сделать обычный заказ огромным; дублирование покупки способно создать такой же рисунок.

В документации Amplitude отдельно показано, что крайние значения могут возникать из-за ошибок инструмента и разных единиц. Это полезный порядок диагностики, а не доказательство того, что конкретная сумма неверна. Редакционный пример не использует заявленные поставщиком результаты тестов или его тарифные ограничения.

Если найден дубль, его исправляют по правилу идентификации заказа и пересчитывают весь затронутый период. Если перепутаны единицы, исправление относится ко всем строкам с той же ошибкой. Такие действия восстанавливают данные. Когда же заказ настоящий, уменьшение его вклада является аналитическим выбором; для него нужно отдельное объяснение.

Нельзя сначала посмотреть, в какой группе лежит дорогой заказ, и только затем решить, что он «слишком необычный». Проверка факта должна давать одинаковый ответ при любой метке группы. Иначе очистка подгоняет данные под желаемый результат вместо исправления ошибок.

Потолок и процентиль задают разные правила

Фиксированный потолок называют до чтения результата: например, в расчёте учитывается не более тысячи рублей на участника за весь период. Порог может опираться на бизнес-задачу или отдельную историческую выборку. Само число тысяча в этой статье учебное; редакция не рекомендует его всем магазинам.

Другой подход задаёт долю распределения: значения выше выбранного процентиля заменяют пороговым. Процентиль обозначает границу, ниже которой находится заданная часть наблюдений. В справке NIST такая замена описана как винзоризация. Наблюдения при этом сохраняются, в отличие от удаления строк. Техническое название полезно для разговора с аналитиком, но не выбирает подходящий порог за команду.

В разных продуктах словом «винзоризация» называют несколько вариантов ограничения. Поэтому одного названия настройки недостаточно. Нужны точные ответы: порог задан суммой или процентилем, рассчитан по каким данным, общий ли он для групп, на каком уровне применяется. Также следует уточнить способ вычисления процентиля: на маленьком наборе разные правила интерполяции могут дать разные границы.

Наш стенд использует только общий фиксированный потолок. Он не реализует процентильную процедуру и не воспроизводит продукт какой-либо платформы. Это намеренное ограничение позволяет проверить изменение суммы без скрытого выбора метода оценки границы.

Порог, вычисленный после запуска, может зависеть от самого теста

Если новый сценарий меняет покупки, он способен изменить и порог, рассчитанный по этим покупкам. При объединении групп тестовые наблюдения участвуют в общей границе. При отдельном расчёте для каждой группы возникают два разных преобразования. Сравнение становится сложнее, чем одинаковое ограничение каждой строки одним заранее названным числом.

Эту проблему разбирает Mårten Schultzberg в материале Confidence by Spotify от 13 октября 2026 года. Автор представляет поставщика экспериментальной платформы и защищает выбранный ею подход. Поэтому его публикация здесь служит источником конкретного методологического вопроса. Редакция не переносит из неё рейтинг конкурентов или универсальное обещание лучшей точности.

Даже заранее фиксированный потолок не сохраняет исходную среднюю автоматически. Если новый сценарий действительно увеличивает дорогие покупки, ограничение уберёт часть этого изменения. Следовательно, предсказуемое правило помогает договориться о показателе, но не делает его равным полной выручке. Это различие нужно сохранить в постановке задачи.

Один участник, один срок, одна сумма

До преобразования данные собирают на уровне единицы эксперимента. Если вариант закреплён за пользователем, сначала суммируют его подходящие покупки за период, затем применяют потолок. Ограничение каждого чека по отдельности даст другую величину: человек с несколькими заказами сможет внести больший вклад, чем при потолке на пользователя.

Например, две покупки по 700 рублей при ограничении каждого чека тысячей дадут 1400. Если же сначала сложить покупки участника и затем применить тот же потолок, получится тысяча. Обе операции вычисляются правильно, но отвечают на разные вопросы. В задании аналитику следует прямо назвать уровень, а не написать «убрать выбросы».

Нулевые участники остаются в знаменателе, когда показатель определён на всех распределённых участников. Выбор только купивших меняет сравниваемую аудиторию: рекламный вариант сам мог повлиять на то, кто купил. Для отдельно названного среднего чека такая выборка уместна, однако она не заменяет выручку на участника эксперимента.

Длина периода тоже входит в определение. Потолок тысяча за сутки и тысяча за две недели ограничивают вклад по-разному. В описании результата нужны единица, интервал и правило суммы. Без них одинаковая цифра настройки не гарантирует одинаковый расчёт.

Как читать чувствительность к нескольким потолкам

В учебном наборе потолок 500 даёт средние 70 рублей в контроле и 80 в тесте. При потолке 200 обе группы дают по 40. Без ограничения контроль впереди. Эти расчёты показывают, что знак разницы средних зависит от того, какую часть дорогих покупок учли в показателе.

Проверка нескольких заранее оговорённых вариантов полезна как диагностика. Она показывает хрупкость вывода и помогает понять роль отдельных наблюдений. Но нельзя перебрать десятки значений, оставить самое убедительное и представить его как единственный заранее выбранный анализ. В таком случае читатель увидит итог подбора вместо исходной проверки гипотезы.

Если пороги подбирали после просмотра данных, результат стоит назвать исследовательским. Его можно использовать для нового плана проверки, а не для утверждения, что новая реклама доказанно увеличила продажи. В следующем опыте правило фиксируют до чтения групповых результатов и сохраняют исходную метрику рядом.

Что включить в задание аналитику магазина

Для российского интернет-магазина исходным комплектом могут стать таблица распределения участников, выгрузка заказов с их статусами и описание периода. Владелец эксперимента определяет, какие покупки относятся к задаче. Аналитик проверяет идентификаторы, единицы, повторы и полноту сроков. Специалист по данным подтверждает найденные технические исправления.

В отчёте рядом показывают исходные суммы и число участников, ограниченные средние, число затронутых участников и сумму, переставшую влиять на вторую метрику. Последняя величина не является списанием. Она помогает увидеть цену выбранного преобразования для интерпретации результата.

Далее записывают основание порога, дату выбора и автора решения. Если граница получена по историческим данным, указывают период и отличие той аудитории от текущей. История не должна включать будущие результаты проверяемого варианта. Отдельная колонка фиксирует известные нарушения качества и способ их исправления.

Статистическую оценку поручают аналитику с учётом устройства эксперимента и новой метрики. Двадцать учебных строк не дают основания обещать доверительный интервал или выбирать победителя. Преобразование данных не отменяет случайность, повторные проверки и необходимость достаточной информации.

Когда отложить решение о масштабировании

Если знак результата зависит от одного подтверждённого заказа, это нужно прямо написать в выводе. Команда может продолжить наблюдение по исходному плану, проверить устойчивость на новом опыте или оставить изменение без масштабирования, если цена ошибки высока. Любое действие требует собственной коммерческой оценки; наша арифметика не определяет допустимый риск магазина.

До принятия решения аналитик, владелец рекламного сценария и получатель отчёта должны согласовать определение показателя. Заказ подтверждён, способ преобразования раскрыт, исходная выручка доступна, причина выбора порога сохранена. Если чего-то не хватает, корректный следующий шаг состоит в восстановлении данных или плана, а не в поиске потолка, который меняет знак в удобную сторону.

Для продолжения полезны проверка перекоса групп, разбор малого числа покупок и CUPED с данными до запуска. Понятия измерения и собственных данных собраны в глоссарии; соседние задачи находятся в разделе измерения.