параметры дизайнаГлобальный · 2016
≥30 гео; претест 4–8 нед.; тест 3–5 нед.
Дизайн эксперимента
← Картотека бенчмарков · Измерение и атрибуция
Гео-эксперимент: минимум ~30 регионов, претест 4–8 недель, тест 3–5 недель, iROAS = β₂
Сколько регионов и недель нужно заложить в дизайн гео-эксперимента?
01
Что за цифра
Откуда она и где перестаёт работать
- Значение
- ≥30 гео; претест 4–8 нед.; тест 3–5 нед. · параметры дизайна
- Тип
- Дизайн эксперимента
- Что это
- Схема Vaver–Koehler: непересекающиеся регионы делятся на тест и контроль — лучше стратифицированной рандомизацией внутри страт по размеру, а не простым случайным распределением, — и в тесте меняют рекламный бюджет. Оценка через регрессию y₁ᵢ = β₀ + β₁·y₀ᵢ + β₂·δᵢ + εᵢ, где y₀ᵢ — продажи региона в претесте, y₁ᵢ — в тесте, δᵢ — разница расходов; коэффициент β₂ и есть инкрементальный ROAS. Из-за гетероскедастичности (регионы разного размера) регрессию взвешивают на 1/y₀ᵢ. Стандартная ошибка обратно пропорциональна разнице расходов между группами: чем сильнее «выкручен» бюджет в тесте, тем уже доверительный интервал.
- Применимость
- Единственный способ каузально измерить офлайн и охватные каналы, не завися от кук и идентификаторов. Требует достаточного числа сопоставимых регионов: при 10–15 крупных городах дизайн не вытягивает по мощности. В России отдельная сложность — Москва и Петербург несопоставимы по объёму с остальными и их приходится выносить из выборки или дробить на округа. Слабое место дизайна — спилловер: медиа, которые нельзя купить по гео (федеральное ТВ, часть digital-инвентаря), протекают в контрольные регионы и занижают оценку эффекта.
- Рынок
- Глобальный · раздел «Эффективность и эконометрика»
- Метки
- достоверность высокая · источник нейтральный · применимость переносимая
- Источник
- Vaver & Koehler, Google Research; Unofficial Google Data Science, 2016 ↗
02
Рядом в картотеке
Задача «Измерение и атрибуция» — 45 записей
- n ≈ 15,7·(CV/δ)²Размер выборки рекламного теста: n на группу ≈ 15,7·(CV/δ)²; при CV=10 и δ=1% это ~15 млн наблюдений
- ghost adsGhost ads вместо PSA-контроля: контроль на уровне «показа, который был бы»
- ≥19 часов (8% эффекта за первые 20 минут)Окно атрибуции для радио — не короче суток: за первые 20 минут проявляется лишь 8% эффекта
- MDE 5–10% / 4–8 недельПравило запуска гео-теста: целевой MDE 5–10% на окне 4–8 недель, иначе тест не запускают
- 4 мес. — 2+ годаЭффект рекламы длится от 4 месяцев до более чем 2 лет после кампании
- ×10Детализация модели до торговых точек меняет измеренный вклад канала в 10 раз (0,5% → 5% продаж)
- метод разложения (пример: +30% новые покупатели / +25% их расходы)Правило оценки кампании: раскладывать рост продаж на приток новых покупателей и рост их расходов
- 2/3Две трети влияния рекламы приходится на период после первой недели