ROC에 의한 두 세트의 피쳐의 분류 능력을 비교할 수 있습니까?

Question

SVM과 ROC에 대해 배우고 있습니다. 알다시피, 사람들은 일반적으로 SVM (Support Vector Machine)의 분류 능력을 보여주기 위해 ROC (수신기 동작 특성) 곡선을 사용할 수 있습니다. 동일한 개념을 사용하여 두 가지 하위 집합을 비교할 수 있는지 궁금합니다.

서브 세트 A와 서브 세트 B의 두 가지 서브 세트가 있다고 가정하십시오. 두 개의 다른 피쳐 추출 방법 A와 B에 의해 동일한 열차 데이터에서 선택됩니다.이 두 가지 서브 세트의 기능을 사용하여 동일한 SVM LIBSVM svmtrain() 함수를 사용하고 두 가지 모두의 ROC 곡선을 그려 보면 분류 능력을 AUC 값과 비교할 수 있습니까? 하위 집합 B보다 하위 집합 A에 대한 AUC 값이 높으면 A 방법이 B 방법보다 낫다고 결론을 맺을 수 있습니까? 어떤 의미가 있습니까?

고맙습니다.

Answer 1

예, 올바른 길을 가고 있습니다. 그러나 몇 가지 사항을 염두에 두어야합니다.

1. 적절히 조정/정규화 된 두 개의 피쳐 A와 B를 사용하면 피쳐보다 개별적인 성능이 향상되는 경우가 많습니다. 따라서 A와 B 기능을 함께 사용할 수도 있습니다.
2. 기능 A와 B를 사용하여 SVM을 학습하는 경우 기능 A를 사용하여 얻은 최상의 성능과 기능 B를 사용하여 얻은 최상의 성능을 비교하는 경우 별도로 최적화해야합니다. 기능 A와 B가 서로 다른 커널 및 매개 변수 설정.
3. 시험 데이터를 평가 한 후에 계산할 수있는 F1-score, Mean Average Precision(MAP)과 같은 AUC 이외의 측정 항목이 있으며 마음에 든 응용 프로그램에 따라 더 적합 할 수 있습니다.