наблюдений на группуГлобальный · 2015
n ≈ 15,7·(CV/δ)²
Дизайн эксперимента
← Картотека бенчмарков · Измерение и атрибуция
Размер выборки рекламного теста: n на группу ≈ 15,7·(CV/δ)²; при CV=10 и δ=1% это ~15 млн наблюдений
Какая выборка нужна, чтобы тест поймал эффект рекламы на продажи?
01
Что за цифра
Откуда она и где перестаёт работать
- Значение
- n ≈ 15,7·(CV/δ)² · наблюдений на группу
- Тип
- Дизайн эксперимента
- Что это
- Двухвыборочный тест на разницу средних при α=0,05 и мощности 80%: n = 2·(z₀,₀₂₅+z₀,₂)²·(σ/Δ)² ≈ 15,7·(CV/δ)², где CV = σ/µ — коэффициент вариации продаж на человека, δ — относительный лифт, который нужно поймать. Lewis и Rao на 25 крупных полевых экспериментах (2,8 млн долларов рекламных расходов) показали: CV порядка 10 — обычное дело, а точка окупаемости рекламы лежит в районе 1% продаж на человека. Подстановка: 15,7·(10/0,01)² ≈ 15,7 млн человеко-недель на группу. Медианный доверительный интервал по ROI в их выборке оказался шире 100 процентных пунктов.
- Применимость
- Отрезвляющий расчёт, который делают ДО обещания «замерим ROI кампании»: для большинства бюджетов требуемое n превышает всю аудиторию бренда, поэтому вывод «канал не показал эффекта» почти всегда означает «не хватило мощности», а не «эффекта нет». Обходные пути: агрегировать до уровня гео (шум падает на порядки), мерить промежуточную метрику с меньшим CV (визиты, добавления в корзину) вместо выручки, объединять серию тестов. Ограничение самой формулы: она опирается на нормальное приближение и одну точку измерения; при сильно скошенном распределении продаж требуется ещё больше наблюдений.
- Рынок
- Глобальный · раздел «Эффективность и эконометрика»
- Метки
- достоверность высокая · источник нейтральный · применимость переносимая
- Источник
- Lewis & Rao, Quarterly Journal of Economics 130(4), 1941–1973, 2015 ↗
02
Рядом в картотеке
Задача «Измерение и атрибуция» — 45 записей
- ≥19 часов (8% эффекта за первые 20 минут)Окно атрибуции для радио — не короче суток: за первые 20 минут проявляется лишь 8% эффекта
- ≥30 гео; претест 4–8 нед.; тест 3–5 нед.Гео-эксперимент: минимум ~30 регионов, претест 4–8 недель, тест 3–5 недель, iROAS = β₂
- 4 мес. — 2+ годаЭффект рекламы длится от 4 месяцев до более чем 2 лет после кампании
- ghost adsGhost ads вместо PSA-контроля: контроль на уровне «показа, который был бы»
- метод разложения (пример: +30% новые покупатели / +25% их расходы)Правило оценки кампании: раскладывать рост продаж на приток новых покупателей и рост их расходов
- MDE 5–10% / 4–8 недельПравило запуска гео-теста: целевой MDE 5–10% на окне 4–8 недель, иначе тест не запускают
- методГео-холдаут — причинная «истина», калибрующая MMM через байесовские приоры
- ×10Детализация модели до торговых точек меняет измеренный вклад канала в 10 раз (0,5% → 5% продаж)