дизайн контрольной группыГлобальный · 2017
ghost ads
Дизайн эксперимента
← Картотека бенчмарков · Измерение и атрибуция
Ghost ads вместо PSA-контроля: контроль на уровне «показа, который был бы»
Как построить корректную контрольную группу в рекламном эксперименте?
01
Что за цифра
Откуда она и где перестаёт работать
- Значение
- ghost ads · дизайн контрольной группы
- Тип
- Дизайн эксперимента
- Что это
- В классическом lift-тесте контрольной группе крутят социальную рекламу (PSA): это стоит открученного бюджета и искажает базу, потому что PSA видят те, кто и так активен в сети. Ghost ads (Johnson, Lewis, Nubbemeyer) контролю не показывают ничего, а логируют ставки в аукционе: помечается подмножество ставок как «показ, который состоялся бы», и эти записи служат контрфактуалом. Метод дешевле (нет бюджета на контрольную рекламу), точнее (сравнение идёт на уровне экспозиции, а не всей группы) и совместим с алгоритмической оптимизацией доставки в реальном времени, которая ломает обычный intent-to-treat.
- Применимость
- Превращается в конкретный вопрос к площадке перед покупкой brand lift или conversion lift: на чём построена контрольная группа. PSA-контроль — оценка завышена активностной ошибкой; ITT по всей группе — оценка размыта теми, кто рекламу не увидел. Ограничение: реализовать ghost ads может только сама платформа, у неё же остаётся и результат, поэтому независимая проверка невозможна и метод не снимает конфликт интересов. Сравнение остаётся внутриплатформенным: эффект на людей, до которых площадка не дотягивается, ghost ads не измеряют.
- Рынок
- Глобальный · раздел «Эффективность и эконометрика»
- Метки
- достоверность высокая · источник нейтральный · применимость переносимая
- Источник
- Johnson, Lewis, Nubbemeyer, Journal of Marketing Research 54(6), 867–884, 2017 ↗
02
Рядом в картотеке
Задача «Измерение и атрибуция» — 45 записей
- ≥30 гео; претест 4–8 нед.; тест 3–5 нед.Гео-эксперимент: минимум ~30 регионов, претест 4–8 недель, тест 3–5 недель, iROAS = β₂
- MDE 5–10% / 4–8 недельПравило запуска гео-теста: целевой MDE 5–10% на окне 4–8 недель, иначе тест не запускают
- n ≈ 15,7·(CV/δ)²Размер выборки рекламного теста: n на группу ≈ 15,7·(CV/δ)²; при CV=10 и δ=1% это ~15 млн наблюдений
- ×10Детализация модели до торговых точек меняет измеренный вклад канала в 10 раз (0,5% → 5% продаж)
- ≥19 часов (8% эффекта за первые 20 минут)Окно атрибуции для радио — не короче суток: за первые 20 минут проявляется лишь 8% эффекта
- 2/3Две трети влияния рекламы приходится на период после первой недели
- 4 мес. — 2+ годаЭффект рекламы длится от 4 месяцев до более чем 2 лет после кампании
- переворот рейтингаРейтинг каналов по ROI переворачивается между горизонтами: аудио №1 на 13 неделях, ТВ №1 на 24 месяцах