Software Hyena::

Question : A/B Test 등 현상 분석 및 실험 설계 상 통계적으로 유의미함의 여부를 결정하기 위한 방법에는 어떤 것이 있을까요? A/B Test란 기존의 서비스 A 와 새로운 서비스 B를 통계적인 방법으로 비교하여 새로운 서비스가 효과가 있는지 검정하는 방법이다. A/B 테스트를 통해 인과관계를 찾아내려면, 두 집단을 나눌때 random으로 나누기 참가한 두 집단에 속하는 표본들이 random 추출을 통해 샘플링 되어야 한다. 이외에 현상 분석 및 실험 설계 상 통계적으로 유의미함의 여부를 결정하기 위한 방법에는 AA test, p-value가 있다. AA test는 A와 B를 비교하기 전에 분산된 트래픽에 모두 A안을 보여주고, 동일한 Variation이 관측되는지 확인하는 방법 p-val..