AMT의 명령 줄 인터페이스를 사용하여 자격 테스트를 만들고 싶습니다. 이 테스트에서는 AMT가 자동으로 채점 할 수있는 질문 유형 만 사용합니다. 각 질문에 대해 개별 점수를 설정할 수는 있지만 테스트에 대해 최소 합격 점수를 설정하는 방법에 대한 문서는 찾을 수 없습니다. 예를 들어, 근로자가 80 점 이하의 점수를 받으면 나는 시험에 실패하길 원합니다. 점수가 80 점 이상이면 테스트에 합격하길 바란다.자격 시험을 통과하기위한 최소 합격 점수는 어떻게 설정할 수 있습니까?
자격 테스트는 통과/실패와 같이 작동하지 않습니다. QualificationScore를 지정합니다. AnswerKey에서 QualificationValueMapping을 사용하여 테스트 점수를 특정 자격 점수 집합으로 변환 할 수 있습니다 (http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_AnswerKeyDataStructureArticle.html 참조). 합격/불합격 요소는 특정 HIT에 대한 QualificationRequirement의 일부 여야합니다. 즉, "합격"은 QualificationRequirement의 임계 값보다 높은 점수를 의미해야하며 실패는 그보다 낮아야합니다. 그런 다음 매핑을 사용하면 총점을 요구 사항의 임계 값보다 높거나 낮은 값으로 변환 할 수 있습니다.
고마워요! 따라서 명확하게 말하면 자동 등급 테스트 후에 대화를 변경할 방법이 없습니다. "축하합니다. X 점수로이 자격 테스트에 통과했습니다." 그들은 항상 통과 할 것이지만 때로는 점수가 내 HITs 임계 값보다 낮습니다. – willwest
@willwest 만약 당신이 0 점을 얻으면 다른 것을 말할지도 모릅니다.하지만 메시지를 수정할 방법이 없다고 생각합니다. – Thomas