A/B 테스트 통계

Question

다른 A/B 테스트의 통계 분석을 통해 어떤 대안이 더 효과적인지, 이에 대한 상충되는 정보를 발견하려고합니다.

첫째, 몇 가지 다른 일에 관심이 : 이러한 변환 또는 이메일 수익을

테스트를 계산하여 성공을 측정 전송

테스트로 계산 이벤트에 의해 성공을 측정

• 테스트, 그 두 가지 대안 (대조군과 신종인)
• 여러 대안 (대조군과 복수 신규)이있는 검사

나는이 분석을하기위한 수식이나 규칙의 간단한 세트를 찾으려고했지만 대답보다는 더 많은 질문을 발견했습니다.

This site은 다중 대체 테스트를 비교할 수 없다고 말합니다. 당신은 단지 pairwise 비교를 할 수 있고 카이 제곱 분석을 수행하여 전체 테스트가 통계적으로 유의한지 여부를 확인할 수 있습니다.

This site A/B/C/D 테스트 (슬라이드 74에서 시작), G-Test (카이 제곱과 관련 있음)를 사용하여 결과를 분석하지만 명확하지 않은 방법을 제안합니다. 퍼지 요소 사용에 대한 세부 정보. 또한 A/B/C/D 비교에서 명확한 승자로 끝날 때까지 대안을 없애기 위해 A/B/C/D 방식 만 사용할 수 있다고 제안합니다.

This site A/B/C/D 테스트 (대조 포함)의 예를 제공하고 전환율을 비교하여 승자를 결정하는 방법을 보여줍니다. this approach과는 달리 대안을 제거하는 것을 권장하지 않고 박쥐에서 우승자를 바로 잡습니다 (통계적으로 유의 한 결과라고 가정).

아마도 나는 순진하지만, 지금까지 통계 분석 라이브러리가이 문제를 해결할 수있을 것이라고 생각합니다. 또한 이러한 문제를 해결하는 데 알고리즘/방정식이 필요한지에 대한 자세한 정보를 제공해 주시면 감사하겠습니다. 내 대학 통계 수업 이래로 오랜 시간이 지났습니다.

Answer 1

비교를 생성하는 이벤트에 대해서는 Beta distributions을 사용하여 접근 할 수 있습니다. 각각의 대안은 관찰되지 않은 p, 이벤트를 생성 할 확률이 있습니다. 당신이 N에서 X 긍정적 인 이벤트를 관찰하는 경우에, 당신의 불확실성에 대한 페이지베타 (X + 1, N-X + 1)로 모델링 할 수있다.

당신은 P pA에 및 pB의 두 베타 분포입니다 (PA> pB의),보고 두 가지 대안을 비교할 수 있습니다. 불평등 확률을 계산하는 방법은 paper에서 찾을 수 있습니다.

E [pA-pB], 효과 크기를 계산하거나 동일한 신뢰 영역을 계산할 수도 있습니다.