[UXUI 아티클 스터디]고객 중심 프로덕트 개선에 ‘A/B 테스트’ 왜 필수일까?

🔗 출처

• 유저 리서치와 데이터 분석의 협업이 중요한 이유(학부모가 왜 콴다를 사용하나요?)

✅ 요약

💡 온라인 통제 실험(Online controlled experiments) = A/B 테스트 : 제품의 기능이나 서비스에 작은 변화를 주어, 지속적으로 테스트하며 제품을 개선해 나가는 방법론 (고객 중심으로 프로덕트를 개선하고자 하는 기업에 매우 중요한 방법론)

1. 온라인 통제 실험이란?
   • 우리 제품을 사용하는 고객 무작위 추출 (실험군(treatment group) / 대조군(control group) = 5:5 비율)
   • 우리 제품에 관한 도메인 지식, 그 이전의 고객 분석 결과, 실험 결과 등을 바탕으로 가설을 세우고, 이 가설을 기반한 실험적 기능을 제품에 반영 (실험적 기능 = UI, 추천 시스템 또는 랭킹 시스템과 같은 알고리즘에 의한 UX 등) 그리고 정해둔 실험 기간동안 고객들의 행동, 거래 데이터를 모아 두 시스템 중 어떤 시스템이 더 나은 경험을 제공했는지 실험 분석을 수행.
   • A/B 테스트의 중요한 포인트는 고객이 어떤 시스템을 경험할지에 대해 온전히 우리가 통제할 수 있다는 것
2. 온라인 통제 실험의 등장 배경
   • RCT(Randomized Control Trial) 무작위 통제 실험 : 1920년대 통제 실험, 실험 계획법의 이론을 정립한 통계학의 대가 로널드 피셔에 의해 발전된 실험 방법론 (농업 > 의학 > 제조업 > 2000년대에 이르러 오프라인 공간 > 온라인 공간까지 확장)
3. 고객 중심 프로덕트 개선에서 A/B 테스트가 최적 표준인 이유
   • 온라인 영역까지 확장된 이유 : 기업 최대 관심은 ‘고객이 진정으로 원하는 것은 무엇인가?’를 알아내는 것.
   • 온라인 통제 실험이 최적 표준이 될 수 있는 이유 : 고객 반응 변화가 오로지 ‘우리가 제품에 준 변화에 의해 발생한 부분만 측정’되어야 하기 때문
   • 기업에서 데이터 기반 의사 결정을 할 때, 온라인 통제 실험을 가장 최우선적으로 고려하는 이유 : 무작위 통제 실험(RCT)은 인과추론* 영역에서 단일 분석으로 최고 수준의 인과적 효과를 추론해 낼 수 있는 방법론에 해당하기 때문(인과 추론 피라미드)

💡 결론 : 고객이 원하는 방향으로 제품을 개선해나가기 위한 최고의 도구 → A/B 테스트

 

🔎 사전

• 인과추론(Causal Inference) : 준 변화(실험적 기능) 또는 특정 정책이나, 프로모션 등에 의해 발생하는 순수한 효과를 측정하기 위한 여러 방법론을 연구하는 영역
• ‘메타 분석(Meta-analysis)’ 기법 : 인과추론 방법론에 의해 나온 연구 결과 여러 개를 종합하는 방법론 (인과 추론 피라미드 최상단)

 

📌 참고사이트

• 웹에서의 통제된 실험 : 설문조사 및 실무 가이드
• 웹에서의 통제된 실험 : 설문조사 및 실무 가이드 pdf 버전

 

💬 코멘트

A/B 테스트의 등장배경부터 지금까지 사용하는 이유에 대해 알게되었다. 1920년대 부터 내려온 방법론이라는 것 이 참 흥미로운데 이 오랜 기간동안 사용한 이유 중 최고 수준의 인과적 효과를 추론할 수 있다는 점에 더 신뢰가 가는 테스트로 깨닫게 되었다. 그리고 오로지 고객을 알기 위해, 고객이 원하는것이 무엇인지, 원하는 방향으로 우리 제품 및 서비스를 개선해나가는 것이 멋지게 느껴졌다.