시뮬레이션 성능 메트릭

Question

이것은 반 광범위 질문이지만, 어느 수준에서 느낄 수있는 것 중 하나는 답하거나 적어도 친숙합니다.

나는 지난 달 동안 또는 이렇게 상당히 광범위한 시뮬레이션을 제작했습니다. 고용주의 이익을 보호하기 위해 나는 그것이하는 일을 구체적으로 말하지 않을 것입니다 ... 그러나 그것이하는 일의 비유는 ... 고교 댄스로 설명 될 수 있습니다.

소녀 또는 소년 댄스 플로어를 입력하고 무료 댄스 파트너의 선택에 따라, 최적의 선택이 이루어진다. 일정 기간이 지나면 두 명의 무용수가 춤을 추며 새로운 파트너 관계를 맺을 수 있습니다.

너무 많이 파트너에 대한 대기 시간을 희생하지 않으면 서 평균 일치하는 결과를 극대화하기위한 파트너 선택 알고리즘을 만들어 왔습니다.

가 나는 방법/측정 어떤 상황에 대한 최적의 알고리즘의 선택을하기 위해 내 알고리즘의 버전을 비교합니다. 그러나 시뮬레이션은 입력 매개 변수가 매우 큰 행렬 (댄서 당 2-5 개)이므로 시뮬레이션을 수행하는 데 몇 분이 걸리기 때문에 (시뮬레이션 입력을 여러 번 테스트하는 것이 어렵다는 사실) 어렵습니다. 몇 가지 출력 메트릭이 있지만 많은 수의 입력에 연결하는 것은 매우 어렵습니다. 나는 ... 또한 완전히 특정 입력 조건에서 실패 알고리즘 연구 결과에 관심이

최적의 알고리즘에 선명도를 줄 수도 입력 제약/출력 변수를 정의 나에게 도움이되는 프로 팁/온라인 리소스

?

Answer 1

정확히 원하는 것을 이해하지 못할 수도 있습니다. 그러나 여기에 제 제안이 있습니다. 내 솔루션이 정확하지 않거나 부적절한 경우 알려 주시면 이에 따라 편집/삭제하겠습니다.

은 (예를 들어 쌍 호환성 또는 대기 시간) 특정 메트릭을 가정합니다. 모든 사용자에 대해이 측정 항목의 평균 또는 총 개수 만있는 경우에는 유용하지 않습니다. 대신 모든 사용자에 대해이 측정 항목의 분포를 찾을 수 있습니다. 그렇지 않은 경우에는 항상 차이를 추적해야합니다. 분포를 얻은 후에 특정 알고리즘에 대해 특정 알고리즘 A가 B보다 더 나을 확률을 계산할 수 있습니다.

실험 내 측정 항목 분포가없는 경우 항상 여러 실험을 실행할 수 있으며 실행해야하는 실험 수는 측정 항목의 차이와 두 알고리즘의 차이에 따라 다릅니다.