[MadTech 101] 광고 성과, '진짜'일까? 인크리멘탈 측정, A/B 테스트만으론 부족한 이유

A/B 테스트만으론 부족하다? 진짜 성과를 가려내는 인크리멘탈 측정의 필요성

"광고 캠페인, 분명 A/B 테스트에서는 효과가 있었는데… 왜 실제 매출은 그대로지?" 마케터라면 누구나 한 번쯤 겪어봤을 법한 상황입니다. A/B 테스트는 분명 유용한 도구이지만, 광고의 '진짜' 효과를 측정하는 데는 한계가 있습니다. A/B 테스트는 단순히 두 그룹 간의 '상관관계'만 보여줄 뿐, 광고가 실제로 매출 증가에 '기여'했는지, 즉 '인과관계'를 증명하진 못합니다.

이러한 맹점을 해결하기 위해 등장한 것이 바로 '인크리멘탈 측정(Incrementality Measurement)'입니다. 인크리멘탈 측정은 광고를 통해 추가적으로 발생한 성과만을 정확하게 측정하는 방법입니다. DoorDash에 따르면, DoorDash Ads는 판매 증진 측정 기능을 통해 브랜드 캠페인에서 평균 30%의 인크리멘탈 효과를 달성했습니다 [2].

왜 인크리멘탈 측정에 '새로운' 접근이 필요할까?

기존의 인크리멘탈 측정 방식은 여러 문제점을 안고 있습니다. 가장 흔한 방법은 '홀드아웃(Holdout)' 테스트입니다. 특정 사용자 그룹에게는 광고를 노출하지 않고, 다른 그룹에게만 광고를 노출하여 두 그룹의 성과를 비교하는 방식입니다. 하지만 이 방법은 다음과 같은 문제에 직면할 수 있습니다.

통제 집단 오염(Control Group Contamination): 통제 집단이 예상치 않게 광고에 노출될 경우, 측정 결과가 왜곡될 수 있습니다.
샘플 크기 부족: 충분한 통계적 유의미성을 확보하기 위해서는 매우 큰 규모의 샘플이 필요합니다.
비용 문제: 대규모 홀드아웃 테스트는 상당한 비용이 소요될 수 있습니다.

이러한 문제점을 해결하기 위해, 마케터들은 더욱 정교하고 혁신적인 인크리멘탈 측정 방법을 모색하고 있습니다. 예를 들어, 지역별 광고 효과를 측정하는 '지오 리프트(Geo Lift)' 테스트는 특정 지역에만 광고를 집중적으로 노출하고, 다른 지역과 비교하여 성과를 측정합니다. 하지만 이 역시 지역 간의 특성 차이를 완벽하게 통제하기 어렵다는 한계가 있습니다.

'새로운' 인크리멘탈 측정, 성공과 실패를 가르는 기준은?

인크리멘탈 측정의 핵심은 '새로운' 성과를 정확하게 분리해내는 데 있습니다. 따라서, 다음 사항들을 반드시 고려해야 합니다.

명확한 KPI 설정: 어떤 성과를 측정할 것인지 명확하게 정의해야 합니다. 단순히 매출 증가뿐만 아니라, 브랜드 인지도, 고객 충성도 등 다양한 KPI를 고려할 수 있습니다.
실험 설계의 품질: 통제 집단 오염을 최소화하고, 충분한 샘플 크기를 확보해야 합니다. 또한, 실험 기간 동안 외부 요인의 영향을 최소화해야 합니다.
운영 시스템과의 통합: 측정 결과를 실시간으로 확인하고, 캠페인에 즉각적으로 반영할 수 있는 시스템을 구축해야 합니다.

만약 위 조건 중 하나라도 충족되지 못한다면, 인크리멘탈 측정 결과는 왜곡될 가능성이 높습니다. 예를 들어, KPI가 명확하지 않으면 어떤 성과가 실제로 광고에 의한 것인지 판단하기 어렵습니다. 또한, 실험 설계가 부실하면 통제 집단 오염으로 인해 측정 결과가 왜곡될 수 있습니다. 마지막으로, 운영 시스템과의 통합이 이루어지지 않으면 측정 결과를 실시간으로 활용하여 캠페인을 최적화할 수 없습니다.

'진짜' 성과 입증, 이제는 측정 방식부터 바꿔야 할 때

광고 효과 측정의 패러다임이 바뀌고 있습니다. 더 이상 A/B 테스트 결과에만 의존해서는 안 됩니다. 인크리멘탈 측정을 통해 광고의 '진짜' 효과를 입증하고, 데이터 기반의 의사 결정을 내려야 합니다. Jones Road Beauty는 새로운 유형의 MMM(Marketing Mix Modeling)을 사용하여 미디어 측정을 재설정하고 있습니다 [3]. Deliveroo는 인크리멘탈 테스트를 다시 메뉴에 올리고 있습니다 [5]. 이제는 우리도 인크리멘탈 측정에 대한 새로운 시각을 가지고, 광고 전략을 재점검해야 할 때입니다.

이 블로그 검색