텍스트 프로세싱을위한 지원 벡터 머신 또는 인공 신경망?

Question

일부 텍스트 처리 프로젝트의 경우 지원 벡터 머신과 고속 인공 신경망 사이를 결정해야합니다.

문맥 맞춤법 교정을 포함하고 텍스트를 특정 문구 및 동의어에 태그 지정합니다.

올바른 접근 방법은 무엇입니까? 아니면 두 가지 대안이 있습니다 ... SVM뿐만 아니라 FANN보다 더 적절한 것이 있습니까?

Answer 1

두 알고리즘 모두에서 경쟁력있는 결과를 얻을 수 있으므로 결과를 종합해야합니다 ... 앙상블 학습에 대해 생각해보십시오.

업데이트 :
이 충분히 특정 경우 나도 몰라 : 각 알고리즘에서 예측을 결합하는 베이 즈 최적의 분류를 사용합니다. 두 알고리즘을 모두 훈련해야만합니다. 그런 다음 알고리즘을 사용하고 알고리즘 입력을 기반으로 최적의 예측을 수행하도록 Bayes Optimal Classifier를 교육해야합니다. 3

별도의 훈련 데이터 :

• 1 데이터 세트는 (인공) 신경망과 지원 벡터 기계를 훈련하는 데 사용됩니다.
• 두 번째 데이터 세트는 ANN 및 SVM에서 원시 예측을 취하여 Bayes Optimal Classifier를 교육하는 데 사용됩니다.
• 세 번째 데이터 세트는 훈련 된 Bayes Optimal Classifier를 테스트 할 자격 데이터 세트입니다.

업데이트 2.0 : 사이즈 N/10의 10 개 세트로

• 브레이크 데이터 :
  알고리즘의 앙상블을 생성하는 또 다른 방법 10-fold (or more generally, k-fold) cross-validation을 사용하는 것이다.
• 9 개의 데이터 세트를 테스트하고 1을 테스트하십시오.
• 10 번 반복하여 평균 정확도를 얻으십시오.

더 나은 결과를 내기 위해 일반적으로 많은 분류 자와 유효성 검사 방법을 결합 할 수 있습니다. 도메인에 가장 적합한 것이 무엇인지 찾는 것입니다.

Answer 2

maxent classifiers (/log linear models)을 살펴볼 수도 있습니다.

그들은 NLP 문제로 인해 인기가 있습니다. 느린 반복적 스케일링 알고리즘보다는 최적화를위한 준 - 뉴턴 (quasi-newton) 방법을 사용하는 현대의 구현은 SVM보다 더 빨리 훈련합니다. 또한 정규화 하이퍼 매개 변수의 정확한 값인 less sensitive 인 것으로 보입니다. 커널을 사용하여 기능 연결을 무료로 얻으려면 maxent보다 SVM을 선호해야합니다.

SVM 대 신경망의 경우 SVM을 사용하는 것이 ANN을 사용하는 것보다 낫습니다. 최대 모델과 마찬가지로, 훈련 SVM은 볼록 최적화 문제입니다. 즉, 데이터 세트와 특정 분류 자 ​​구성이 주어지면 SVM은 일관되게 동일한 솔루션을 찾습니다. 다층 신경망을 훈련 할 때, 시스템은 다양한 지역 최소치로 수렴 할 수 있습니다. 따라서 모델을 초기화하는 데 사용하는 가중치에 따라 더 좋거나 나쁨 솔루션을 얻을 수 있습니다.ANN을 사용하면 주어진 모델 구성이 얼마나 좋은지 또는 나쁜지를 평가하기 위해 여러 번의 교육을 수행해야합니다.

Answer 3

CNN (Convolution Neural Network) 또는 RNN (Recurrent Neural Network)을 사용하여 NLP를 학습 할 수 있습니다. CNN이 지금 최첨단 기술을 완성했다고 생각합니다.