← Картотека бенчмарков · Измерение и атрибуция

Наблюдательная атрибуция против RCT: в половине из 15 экспериментов оценка расходится втрое

Насколько можно доверять наблюдательной атрибуции без эксперимента?

Эффективность и эконометрикаСША

кратность расхождения с экспериментомСША · 2019

×3

Ошибка атрибуции

Gordon, Zettelmeyer, Bhargava, Chapsky, Marketing Science 38(2), 2019

Что за цифра

Откуда она и где перестаёт работать

Значение: ×3 · кратность расхождения с экспериментом
Тип: Ошибка атрибуции
Что это: Gordon, Zettelmeyer, Bhargava и Chapsky сравнили 15 крупных рандомизированных экспериментов в Facebook (500 млн наблюдений «пользователь×эксперимент», 1,6 млрд показов) с оценками тех же кампаний наблюдательными методами — матчингом, регрессией с богатым набором ковариат, propensity score. В половине случаев наблюдательная оценка процентного прироста покупок отличалась от экспериментальной в три раза. Смещение чаще в сторону завышения, но встречается и занижение — то есть единый поправочный коэффициент к платформенным цифрам не строится.
Применимость: Норматив для скидки, которую планер закладывает на любые неэкспериментальные оценки вклада канала — включая MTA и self-attributed отчёты площадок. Ключевая деталь: смещение сохранилось даже после контроля на обширные демографические и поведенческие переменные, то есть «добавим больше признаков в модель» проблему не решает. Ограничения: данные одной платформы и одного периода, все эксперименты — соцсеть с алгоритмической доставкой, где смещение отбора максимально; для каналов без таргетинга разрыв должен быть меньше.
Рынок: США · раздел «Эффективность и эконометрика»
Метки: достоверность высокая · источник нейтральный · применимость переносимая
Источник: Gordon, Zettelmeyer, Bhargava, Chapsky, Marketing Science 38(2), 2019 ↗

Рядом в картотеке

Задача «Измерение и атрибуция» — 45 записей

Вся картотека · 409 бенчмарков →