Weka - 편파/바이어스 결과를 제공하는 이진 분류

Question

먼저 WEKA 초보자라고 말해 보겠습니다.

특정 메트릭을 사용하여 인스턴스에 대해 예/아니오 응답을 얻는 2 진 분류 문제로 WEKA를 사용하고 있습니다.

a b <-- classified as 
190 0 | a = yes 
98 0 | b = no 

이 절대 분리의 경우 :

여기 BayesNet 나는 288 개 인스턴스와 세트있어 혼란 매트릭스가 '예'(190)와, 그리고 98 '에는'값을 사용하지 않고, 문제를 예시하기 다른 분류 자들도 있지만, 그것들 전부는 아닙니다. 즉, 분류 자의 등급이 극도로 분류되지 않은 경우에도 주류에 대한 확실한 편향이 있습니다. 예를 들어, RandomForest의 결과는 다음과 같습니다.

a b <-- classified as 
164 34 | a = yes 
62 28 | b = no 

나는 아주 분명하게 뭔가를 놓치고 있습니다.

Answer 1

원래 나는 BayesNet이 문제라고 생각했습니다. 하지만 지금은 그것이 당신의 데이터라고 생각합니다.

의견에서 이미 지적했듯이 문제는 불균형 클래스 문제라고 생각했습니다. 대부분의 분류 기준은 정확도를 최적화합니다. 귀하의 경우 BayesNet의 경우 (190 + 0)/288 = 0.66이고 RandomForest의 경우 (164 + 28)/288 = 0.67입니다.

큰 차이는 아니지만 RandomForest에서 찾은 해결책은 약간 우수합니다. 그것은 같은 클래스에 모든 것을 집어 넣지 않기 때문에 "더 좋아"보입니다.하지만 통계적으로 의미가 있는지 의심 스럽습니다.

Lars Kotthoff와 마찬가지로 언급하기가 어렵습니다. 나는 또한 기능이 더 나은 분리를 위해 충분하지 않다는 것을 짐작할 것입니다.

다른 분류 기준을 시도하는 것 외에도 성능 측정을 재고해야합니다. 정확도은 각 클래스에 대해 거의 동일한 수의 인스턴스가있는 경우에만 유용합니다. 다른 경우에는 MCC 또는 AUC이 좋지만 (호환되지 않는 구현으로 인해 AUC는 WEKA의 LibSVM에서 작동하지 않습니다). 당신의 예제

고객 센터는 BayesNet 0을하고 랜덤 포레스트에 대한

((164*28) - (62*34))/sqrt((164+62)*(34+28)*(164+34)*(62+28)) 
= (4592 - 2108)/sqrt(226 * 62 * 198 * 90) 
= 2484/sqrt(249693840) 
= 0,15719823927071640929 

것이다. 따라서 RandomForest는 약간 더 나은 결과를 보여 주지만 그다지 좋지는 않습니다.

데이터를 보지 않고 말하기는 어렵지만 잘 분리되어 있지 않을 수 있습니다.