A/B 테스트 검색 결과 정렬 옵션

Question

사용자가 드롭 다운 제어를 통해 선택할 수있는 다양한 정렬 유형이있는 검색 결과 페이지가 있습니다. 정렬 옵션 중 하나의 변형을 테스트해야합니다. 관련성 (유사도 B에는 관련성 정의의 알고리즘이 다릅니다)이 있다고합시다.

트릭은 사용자가 선택한 정렬 옵션을 기억하고 다음에 사용자가 검색 결과 페이지를 방문한다는 것입니다. 기본 정렬 옵션은 마지막으로 선택한 옵션과 같습니다. 예. 사용자가 'Price'옵션을 Price (낮은 가격부터 높은 가격까지) 정렬 방식으로 선택했다는 것을 말하면, 'Relevance'정렬 옵션을 명시 적으로 선택할 때까지는 관련성에 따라 정렬 된 결과를 결코 얻지 못할 것입니다.

질문 - 페이지의 변형본을 그대로 테스트해도 문제가 없거나 사용자가 정렬 옵션으로 '관련성'을 선택한 경우에만 A/B 테스트를 설정/제한해야합니다. 이 방법으로이 특정 옵션의 변형을 통한 사용자 변환 만 비교합니까?

감사합니다.

Answer 1

나는이 질문은 오래된 것을 깨닫게하지만 단지의 경우 누군가가 여기에 비슷한 질문과 함께 오는 당신은 실제로 bucketed 실험을보고하는 사용자를 확인하기 위해 조건/수동 활성화를 사용할 수있는 대답

입니다. 조건부 활성화는 엔터프라이즈 계정에서만 사용할 수 있지만 그 경우 $('#my-dropdown').val() === 'relevance'과 같은 것을 사용합니다. 당신은 수동 활성화를 사용하여 현재 선택된 옵션이 무엇 확인이 페이지에 자바 스크립트를 추가 할 수없는 경우 불이 :

window.optimzely = window.optimizely || []; 
window.optimizely.push(['activate', experimentID]); 

여기에 활성화 모드에 Optimizely 기사입니다 : https://help.optimizely.com/hc/en-us/articles/200040225

통계적 관점에서 생각이 실험에서 모든 방문자를 페이지에 버켓으로 묶어두면 유효한 결과를 얻을 수 있지만 실험을 통해 더 많은 트래픽을 실행해야 동일한 실제 효과에 대한 중요성을 얻을 수 있습니다. 얼마나 많은 트래픽이 페이지의 선택된 버전을 보는 총 트래픽의 비율에 달려 있습니다.