교차 유효성 검사 결과가 일치하지 않음

Question

필자는 피실험자가 특정인지 작업을 수행 할 때 일련의 데이터 집합을 기록했습니다. 데이터는 채널당 16 개 채널과 여러 샘플 포인트로 구성되어 있으며 수행중인인지 작업에 따라이 데이터를 분류하려고합니다 (모든 라벨이 지정되어 있음).

많은 양의 데이터 (세션 당 약 60 회의 시도, 각인지 작업 당 30 회의 시도)가 없으며 세션이 2 개 있습니다. 이 데이터를 분류하기 위해 선형 판별 분석 (LDA) 분류자를 교육하려고합니다. 분류 자 (Classifier)는 나중에 실시간으로 사용되어 모든 수의 샘플을 출력합니다.

나는 5 분 교차 유효성 확인을 사용하여 분류 자의 일반화 오류를 측정했습니다. 문제는이 5 배 교차 유효성 검사를 여러 번 실행하면 얻을 수있는 결과가 전혀 일정하지 않다는 것입니다. 대신 전반적인 정확도에는 상당한 변화가 있습니다 (예 : 처음 5 배 교차 유효성 검사는 평균 정확도 80 %, 2 차 정확도 65 %, 3 차 평균 72 % 등 ...). 이게 정상인가? 그렇지 않다면 원인은 무엇입니까?

Answer 1

잘못된 데이터가 있거나 분류기가 적합하지 않은 것 같습니다. Leave-one-out 교차 유효성 검사를 수행하고 결과를 기록 할 수 있습니다. 결과에 영향을 줄 수있는 데이터를 찾는 데 도움이 될 수 있습니다.