0

나는 Amazon Web Service Machine Learning 서비스를 제공하는 조종사로 일하고 있으며 나는 약간의 soubts를 가지고있다.AWS Machine Learning Service의 성능 결과를 해석하는 방법은 무엇입니까?

필자는 Binary Classifier 모델을 사용했으며, 제 생각에는 얻은 결과의 히스토그램이 수치 결과와 일치하지 않습니다. 히스토그램에 따르면 False Positives 분포는 True Negative 분포보다 높지만 수치 결과는 이러한 현상을 나타내지 않습니다.

Histogram

  • 778 명 진정한 양성
  • 15,178 진정한 네거티브
  • 6663 오탐 (false positive)
  • 173 위음성이 문제에 통찰력을 가져올 수

누구?

답변

0

이 아마존 웹 서비스 지원 팀에서 내 질문에 대한 대답입니다 :

일부는 주위에 파고 수행 한 후, 나는 Y 축 스케일링은 히스토그램에 대한 대수 것을 발견, 왜 직접적인 1 : 1 영역 이 참 부정과 가양 성의 비교가 수치 결과와 일치하지 않는지 설명합니다.을 표시하지 않은 경우로그 스케일, 내 생각 엔 Y 축의 대부분이 진정한 부정적 결과와 참 긍정 결과에 의해 좌우되는 일 것이고 거짓 인 긍정과 거짓 네거티브는 눈에 띄게보기에는 너무 작을 수 있습니다.

참조 :

Y 축이 결과를 제공하는 히스토그램 서로 일치 대수 경우 https://forums.aws.amazon.com/message.jspa?messageID=733706.

0

당신은 컷오프 점수에 제어 (수직선)가, 감사하고 그 반대의 경우도 마찬가지 왼쪽과 오른쪽에서 이동할 수 있습니다. 다이어그램에서 컷오프 점수 방식을 왼쪽으로 옮겼습니다. 즉, 대부분의 경우 예를 예측하게되므로 거짓 긍정 (잘못된 긍정 (예)으로 잘못 예상 됨), 오탐 . 자신의 포럼을 통해

+0

답변 해 주셔서 감사합니다.하지만 여기에있는 문제는 음수 관측 히스토그램 내에 있습니다. 첨부 된 이미지에서 볼 수 있듯이 임계 값 0.02와 음의 관측 히스토그램 만 고려하면 임계 값의 왼쪽에있는 영역은 오른쪽 영역에 비해 상당히 작습니다. 그 결과는 다음과 같이 얻은 결과와 일치하지 않습니다. 15,178 참 음수 (임계 값 왼쪽의 영역) 위양성 6,663 (임계 값 오른쪽의 영역) –

+0

모든 실제 음수가 표시되지 않습니다 (회색 영역 왼쪽 상단에 있음). 아마도 0 또는 0에 가까울 수 있습니다. 거짓 예측 (false negative = 173 및 false positive = 6,663)을 비교하면 잘라내 기 라인의 왼쪽과 오른쪽에있는이 줄무늬 영역의 비율을 쉽게 볼 수 있습니다. – Guy

+0

모든 참된 네거티브를 볼 수 없다고 생각하는 것은 아닙니다. 0이 많고 0에 가까울수록 히스토그램의 숫자가 매우 높아야합니다. 그렇지 않습니까? 수직 축 스케일이 로그가 아닌 한! –

관련 문제