SVM을 사용하여 텍스트 분류에 카이 제곱 값을 사용할 수 있습니까?

Question

나는 텍스트 분류 문제에 대해 긍정적이고 부정적인 훈련 문서를 가지고있다. 각 문서의 모든 피쳐에 대해 카이 제곱 값을 계산할 계획입니다. 이 값을 가지면 SVM을 사용하여 분류를 진행할 수 있습니까? 분류의 기준점은 무엇입니까?

Answer 1

카이 제곱 값은 전처리 단계 일 수있는 지형지 물 선택을 수행하는 데 사용될 수 있습니다. 그런 다음, 어휘력을 대폭 줄일 수 있습니다 (예를 들어 1M 어휘에서 가장 유용한 100,000 단어를 선택). 이 단계에는 두 가지 이점이 있습니다. 1. 다음 단계에서 모델 크기를 줄입니다. 2. 예측 시간이 빠릅니다. 단점 : 분류 성능에 영향을 미치거나 미치지 않을 수 있습니다.

분류를 진행하려면 SVK 알고리즘과 같이 모델을 교육하는 데 여전히 100K 기능을 사용해야합니다. 모델을 학습 한 후에 모델을 분류에 사용할 수 있습니다.