리콜 또는 정밀도의 신뢰 간격/마진

Question

샘플 세트를 기반으로하는 혼동 지수가있는 경우 리콜/정밀도/등 메트릭스의 통계량 (신뢰 마진/간격)을 어떻게 결정합니까? 변환 자체의 확률에 대한 통계적 전력 분석을 수행하는 방법을 알고 있지만 리콜/정확도를 위해 어떻게해야합니까?

Answer 1

답을 찾았습니다. p +/- Z_score_at_alpha * std_error의 표준 신뢰 구간 계산식을 약간 수정 한 방정식입니다. 유일한 차이점은 오프셋 -> adjusted_recall = TP + 2/(TP + FN + 4)를 사용하여 p (기본적으로 사용자의 회수 확률)가 계산된다는 것입니다.

일반적인 생각은 p가 0 또는 1 일 때 표준 신뢰 구간 방정식이 작동하지 않는다는 것입니다.이 방정식은 p가 0 또는 1 일 때 작동하지 않습니다.

또한 std 오류는 이제 sqrt (adjusted_recall (1-adjusted_recall)/(N + 4))입니다. 이것은 윌슨 점수 간격으로 알려져있다 - https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval#Wilson_score_interval

http://www.stat.ucdavis.edu/~kwwong/STA13-SS1-12/Statistics_13_files/lecture05.pdf