Новое привлекает внимание, но это ещё не диагноз

Посетитель замечает непривычную карточку, открывает её и изучает управление. Часть действий может быть вызвана любопытством. У другого продукта возможна обратная картина: сначала пользователи путаются, а потом осваивают полезную функцию. В обоих случаях одно короткое окно не описывает всё последующее поведение.

В работе Novelty and Primacy исследователи Microsoft рассматривают изменение эффекта по мере знакомства с продуктом. Первоначальный интерес к новинке может снижаться. А освоенная функция, наоборот, может стать полезнее для человека после нескольких попыток. Это историческая исследовательская работа, не свежая статистика российского рекламного рынка.

Но падающая линия сама по себе не доказывает привыкание. В публикации Microsoft ExP о внешней применимости экспериментов подчёркнуто, что временное изменение имеет и другие причины. Наш протокол поэтому начинается с проверки альтернативных объяснений, а не с подписи «эффект новизны» под любым спадом.

Для российского издателя вопрос практический: продолжит ли человек пользоваться новым действием, когда оно перестанет удивлять? Для бренда важнее, сохраняется ли нужный результат, а не только исследование интерфейса. Эти два интереса стоит согласовать до пилота.

Три недели, которые нельзя заменить лучшей из них

В учебном примере на каждой неделе у теста и контроля по тысяче наблюдаемых пользователей. В тесте целевое действие совершили 140, затем 110, затем 100 человек. В контроле каждый раз по 100. Разница долей составляет соответственно четыре, один и ноль процентных пунктов.

Все числа вымышлены. За три недели получилось 350 действий на 3000 недельных наблюдений в тесте и 300 на 3000 в контроле. Суммарная разница долей около 1,67 процентного пункта. Это среднее по данным примера, а не обещание будущего эффекта и не оценка статистической значимости.

CSV хранит недельные числители и знаменатели. Калькулятор периода позволяет сравнить одну неделю и весь доступный горизонт. Он показывает, как ранняя сильная разница влияет на накопленный итог после её исчезновения.

Обратите внимание на единицу: это недельные наблюдения, не обязательно три тысячи уникальных людей. Если человек участвует в нескольких неделях, наблюдения связаны. Для реального доверительного интервала нужно учитывать такое устройство данных. Простое суммирование знаменателей не превращает повторные посещения в независимых участников.

Время после знакомства отличается от календарной даты

На третьей календарной неделе старые участники уже освоили формат, а новые могли увидеть его вчера. Общая недельная линия смешивает эти группы. Поэтому полезно сохранять дату назначения варианта и дату первого наблюдённого знакомства с форматом, если такое событие можно фиксировать законно и технически надёжно.

Затем сравнивают результат по календарным периодам и по времени после знакомства. Это разные срезы. В первом видны сезонность и внешние изменения, во втором можно исследовать поведение по мере повторного использования. Наличие обоих срезов ещё не делает их причинным доказательством, но помогает сформулировать проверяемую гипотезу.

Не подменяйте дату назначения датой первого клика. Клик уже может зависеть от нового формата. Если включить только кликнувших, тест и контроль будут отобраны по разным последствиям воздействия. Такой отчёт отвечает другому вопросу, даже если его красиво назвать анализом освоения.

Если точная дата знакомства недоступна, так и запишите. Дата первого зарегистрированного события может быть позже настоящего первого показа. Она не исключает более раннего знакомства, которое счётчик не увидел. Не достраивайте отсутствующую историю предположением о том, что все начали одновременно.

Сохраните назначенные группы и условия измерения

В основном отчёте участник остаётся в исходно назначенном варианте. Нельзя после первой недели оставить в тесте только тех, кто вернулся, а в контроле всех подряд. Возвращение могло быть одним из результатов изменения. Исключив ушедших, вы рискуете скрыть вред или преувеличить пользу.

Отдельный диагностический отчёт по вернувшимся возможен, но ему нужна честная подпись и описание отбора. Он помогает понять поведение конкретной группы, а не заменяет результат для всех назначенных участников. Общие ограничения выбора разбивки рассматриваются в разборе парадокса Симпсона.

Проверьте, не менялись ли после запуска кнопка, размер, текст или число доступных рекламных мест. Если на второй неделе вышла другая версия, линия больше не описывает освоение одного и того же продукта. Нужны история версий и решение, можно ли продолжать первоначальный опыт.

В тесте и контроле счётчики должны работать одинаково. Целевое действие должно быть доступно по сопоставимым правилам. Проблема загрузки новой версии может выглядеть как потеря интереса. Без журнала ошибок объяснение психологией пользователя будет преждевременным.

Не останавливайтесь в день удобного результата

Продолжительность, основную метрику и правила остановки согласуют заранее. Ежедневное наблюдение не должно превращаться в поиск первого дня, когда отчёт стал выгодным. Если применяется последовательный статистический метод, он тоже выбирается до просмотра данных.

Разумный горизонт зависит от частоты использования. Для ежедневного действия и редкого визита нужны разные периоды. Нет универсального срока, после которого новизна считается законченной. Кроме того, стабильность на двух соседних неделях не гарантирует неизменности результата через полгода.

Согласуйте, что делать при серьёзном ухудшении пользовательского опыта. Продолжать вредный тест ради красивой долгой линии нельзя. Такая остановка должна быть объяснена фактическим критерием, а не молчаливым исчезновением неудачного периода из презентации.

Если срок пилота закончился раньше, чем удалось проверить устойчивость, вывод остаётся ограниченным. Можно сообщить ранний эффект и предложить следующий этап. Нельзя заменить недостающий горизонт утверждением «пользователи привыкнут» или «интерес точно сохранится».

Каким должен быть результат для рекламодателя

Для интерактивной карточки число первых открытий может быть полезной диагностикой, но главным результатом могут быть просмотр товара, осмысленное действие или подтверждённый заказ. Выберите событие, соответствующее задаче, и сохраните знаменатель. Открытие интерфейса и коммерческая польза не взаимозаменяемы.

Покажите по периодам доступный объём, стоимость и согласованный результат. Даже если доля действий снизилась, новый формат может оставаться полезным при другой цене. И наоборот, сильный ранний интерес может не оправдать дорогого производства и поддержки после запуска.

Не пересчитывайте весь будущий год по лучшим первым семи дням. Для планирования можно показать несколько сценариев с разной устойчивостью результата. Подпишите их как предположения и отделите от наблюдённых данных. Достоверность длительного прогноза не появляется от большого числа знаков после запятой.

Отчёт издателя и отчёт бренда могут иметь разные горизонты. Если издателю важен возврат посетителя, а бренду покупка после контакта, это нужно раскрыть заранее. Иначе одна сторона назовёт освоением то, что другая считает потерянным действием.

Как проверить гипотезу о привыкании

Для следующего пилота подготовьте устойчивую версию формата, контроль и наблюдение повторного использования. Сохраните дату назначения, доступность действия и необходимые технические события. Разделите календарное время, время после знакомства и изменения состава пользователей до выбора объяснения.

Простой учебный калькулятор не оценивает модель обучения и не повторяет метод авторов работы. Для такого исследования нужны подходящий экспериментальный план и специалист по причинным выводам. Снижающаяся разница лишь показывает, где требуется дальнейшая проверка.

В итоговом решении укажите ранний результат, результат к концу доступного периода и неопределённость. Если устойчивого выигрыша пока не видно, можно ограничить масштаб следующего этапа. Если преимущество сохранилось, всё равно перечислите условия, в которых оно наблюдалось.

Продолжить помогут правила остановки пилота, проверка состава A/B-групп, A/A-проверка метрики и повторные сравнения креативов. Термины: контрольная группа, дополнительный эффект, бизнес-результат. Для решения о продолжении нужны условия устойчивости результата, а не только удачный день старта.