Отчёт атрибуции отвечает, какая кампания получила заслугу за конверсию. Инкрементальность задаёт другой вопрос: сколько дополнительных действий появилось именно благодаря рекламе. Это особенно важно для ретаргетинга и брендового спроса, где пользователь уже мог быть близок к решению.
Атрибуция и причинный эффект — не одно и то же
Если человек увидел объявление и затем совершил действие, система может приписать результат рекламе. Но последовательность событий ещё не доказывает причину. Пользователь мог вернуться самостоятельно через закладку, поиск или прямой визит.
Инкрементальный эффект оценивает разницу между фактическим результатом показанной рекламы и контрфактическим сценарием — тем, что произошло бы без неё. Напрямую наблюдать оба варианта для одного человека нельзя, поэтому используют сопоставимые группы.
Как устроен holdout-тест
Подходящую аудиторию случайно делят на тестовую и контрольную группы. Тестовая получает рекламу, контрольная — нет. Все остальные условия должны быть максимально одинаковыми: период, GEO, доступность продукта и правила измерения.
Случайное распределение снижает риск, что группы изначально различались по намерению. Если платформа предоставляет встроенный lift-тест, используйте его правила и убедитесь, что контрольная аудитория действительно исключена из анализируемой кампании.
Выберите один основной результат
До запуска определите главную метрику эксперимента: подтверждённая регистрация, FTD или другой согласованный результат. Дополнительные показатели помогают объяснить механизм, но не должны заменять основной вывод после просмотра данных.
Метрика должна измеряться одинаково в обеих группах и иметь достаточную задержку для подтверждения. Изменение определения посередине теста делает сравнение ненадёжным.
Как считать uplift
Сначала найдите коэффициент конверсии отдельно в тестовой и контрольной группе. Абсолютный uplift — это разница между ними. Например, если тестовая группа дала 2,4%, а контрольная 2,0%, дополнительный эффект составляет 0,4 процентного пункта.
Относительный uplift в этом условном примере равен 20%, но без абсолютного значения он может вводить в заблуждение. На маленькой базе крупный относительный рост создаётся несколькими событиями.
Размер выборки и длительность
До старта оцените базовую частоту события и минимальный эффект, который имеет практический смысл. Чем реже конверсия и меньше ожидаемый uplift, тем больше наблюдений понадобится. Остановка после первого удачного дня увеличивает риск случайного вывода.
Тест должен охватывать полный типичный цикл, включая разные дни недели, и дождаться дозревания событий. Не продолжайте эксперимент бесконечно в надежде получить желаемый результат: срок и правило остановки задаются заранее.
Что искажает эксперимент
- пользователи контрольной группы видят другие кампании с тем же сообщением;
- группы сформированы по разным GEO или периодам;
- во время теста меняются лендинг, цена или продуктовый сценарий;
- события передаются с разной полнотой;
- результат анализируется только по тем сегментам, где он оказался положительным.
Каждое отклонение фиксируйте в журнале. Иногда корректнее признать тест невалидным, чем выдавать точное число из загрязнённых данных.
Как превратить результат в решение
Положительный статистический сигнал оценивайте вместе с экономикой. Дополнительные конверсии должны покрывать стоимость показов и операционные расходы. Нулевой uplift не обязательно означает плохой креатив: возможно, выбранная аудитория и так совершает действие без рекламы.
Если интервал неопределённости широк, вывод звучит как «данных недостаточно», а не «эффекта нет». Следующий шаг — увеличить корректную выборку, проверить более чувствительный сегмент или изменить дизайн эксперимента.
Как подготовлен материал и где его границы
Редакция 1win Partners описала базовую логику контролируемого эксперимента и использовала условные числа только для объяснения расчёта. Материал не заменяет статистический дизайн под конкретный объём данных и возможности рекламной платформы.
Для кампаний 1win partners используйте подтверждённые события, соблюдайте правила источника и заранее согласуйте метод измерения. Цель теста — не доказать полезность рекламы любой ценой, а получить честную основу для решения.