A/B Test, AA test

Question : A/B Test 등 현상 분석 및 실험 설계 상 통계적으로 유의미함의 여부를 결정하기 위한 방법에는 어떤 것이 있을까요?

 

A/B Test란 기존의 서비스 A 와 새로운 서비스 B를 통계적인 방법으로 비교하여 새로운 서비스가 효과가 있는지 검정하는 방법이다.

 

A/B 테스트를 통해 인과관계를 찾아내려면,

1. 두 집단을 나눌때 random으로 나누기
2. 참가한 두 집단에 속하는 표본들이 random 추출을 통해 샘플링 되어야 한다.

이외에 현상 분석 및 실험 설계 상 통계적으로 유의미함의 여부를 결정하기 위한 방법에는 AA test, p-value가 있다.

AA test는 A와 B를 비교하기 전에 분산된 트래픽에 모두 A안을 보여주고, 동일한 Variation이 관측되는지 확인하는 방법

p-value는 통계적 가설이 재현되지 않는 예외 경우의 비율이다.

 

-ref

https://brunch.co.kr/@digitalnative/19