средняя ошибка / число экспериментовГлобальный · 2026
25%; до ~10 тестов на канал
MMM
← Картотека бенчмарков · Измерение и атрибуция
Некалиброванный MMM в среднем на 25% мимо каузальной истины; точность растёт примерно до 10 экспериментов на канал
Сколько экспериментов нужно, чтобы результатам MMM можно было верить?
01
Что за цифра
Откуда она и где перестаёт работать
- Значение
- 25%; до ~10 тестов на канал · средняя ошибка / число экспериментов
- Тип
- MMM
- Что это
- Документация Meta Robyn со ссылкой на исследование: модели без калибровки экспериментами отклоняются от каузальной «истины» в среднем на 25%, а предсказание истинного ROAS заметно улучшается вплоть до примерно десяти лифт-исследований на канал. Механика калибровки — третья целевая функция MAPE.LIFT, то есть расхождение между вкладом канала по модели и результатом эксперимента; она минимизируется вместе с ошибкой прогноза (NRMSE) и бизнес-ошибкой (DECOMP.RSSD). Побочный эффект: эксперимент по одному каналу улучшает оценки и по остальным, потому что сдвигает разложение всего микса.
- Применимость
- Норматив для планирования бюджета на измерение: один тест на канал — старт, а не финал; программа из нескольких тестов в год окупается точностью распределения бюджета. Ограничения: 25% — цифра из материалов вендора MMM, методика в открытом виде не воспроизводима; sales-эксперименты доступны только для digital-каналов, для офлайна остаются гео-тесты. Та же документация предупреждает: простых агрегированных данных MMM часто не хватает, чтобы однозначно идентифицировать усложняемую модель, — калибровка не лечит переусложнение спецификации.
- Рынок
- Глобальный · раздел «Эффективность и эконометрика»
- Метки
- достоверность средняя · источник заинтересованный · применимость переносимая
- Источник
- Meta Robyn, документация, 2026 ↗
02
Рядом в картотеке
Задача «Измерение и атрибуция» — 45 записей
- 40–70% / 30–60%MMM: базлайн 40–70% продаж; на весь маркетинг-микс 30–60%, на одни медиа — единицы–первые десятки процентов
- LogNormal(0,2; 0,9)Дефолтный ROI-приор Google Meridian — LogNormal(0,2; 0,9): медиана 1,22, среднее 1,83, 80% массы в 0,5–6,0
- правило: одна база нормировки на всё сравнениеБазу нормировки фиксируют до сравнения каналов: на домохозяйство выигрывает ТВ, на 1000 показов — мобайл
- λ 0,7 → 1,9; λ 0,9 → 6,6Lambda 0,7 = полураспад ~1,9 недели; lambda 0,9 = ~6,6 недели
- 83% дисперсии доли рынкаShare of Search можно ставить KPI вместо доли рынка: объясняет ~83% её дисперсии
- 17–36%CRO: на один выигрышный тест приходится 3–6 запущенных (win rate 17–36%)
- 6–12 месяцев (авто — до 12)Эффект бренда на долю рынка виден через 6–12 месяцев: лаг Share of Search
- артефакт измеренияПоправка на методологию: эластичности несопоставимы при разном шаге данных и разной единице рекламы (GRP против денег)