매개 변수 번호의 관점에서 Autoencoder 및 Neural Network Overfitting?

Question

나는 두 클래스에 대해 1100 개의 시퀀스를 가지고 있습니다. 그 중 400은 class 1이고 700은 class 2입니다. 나는 2 뉴런의 숨겨진 레이어 자동 엔코더를 사용하여 내 기능을 캡처했습니다. 나의 초기 특징은 각 시퀀스에 대한 3 그램이다. 그래서 각 시퀀스마다 나는 6860 트라이 그램을 가지고 있습니다. 결과적으로 대부분의 입력 벡터는 희소 벡터입니다. 나는이 네트워크의 매개 변수를 계산하는 경우

지금, 나는 지금

6860 * 2 = 13720 paramters (1st layer) 
2 * 6860 = 13720 parameters (2nd layer) 
----------------------------------------- 
      27440 parameters (in total) 

을 가지고, 그 데이터 포인트의 내 수에 비해 너무 많은 매개 변수입니다. 따라서 0.98의 누락 값을 layer 1->hidden layer 및 hidden layer->output layer에 사용하여 각 레이어에 13720 * 0.02 = 274 매개 변수의 수를 지정하고 총 값은 548입니다.

이제 교육을 마치고 500 시퀀스의 테스트 데이터에서 인코더를 시도하고 2 차원 데이터의 숨겨진 레이어를 추출했습니다. 그런 다음 다른 5 뉴런 단일 숨겨진 레이어 신경망에 해당 데이터를 사용하여 분류합니다. 내 결과가 정확해서 90% 정확도를 얻고 있습니다.

제 질문은 자동 응답기에 지나치게 적합합니까? 다른 신경망을 사용하여 지나치게 적합합니까? 적은 수의 데이터 포인트가 걱정됩니다. 내 드롭 아웃 사용은 합리적인 것 같습니까?

Answer 1

데이터를 완벽하게 맞출 때까지 숨겨진 레이어 크기를 늘린 다음 숨겨진 레이어 크기를 사용하여 드롭 아웃 매개 변수를 늘려 모델 작동 방식에 대한 느낌을 얻을 수 있습니다.

또한 알파 매개 변수를 추가하여 가중치를 조정할 수 있습니다.

일부 매개 변수를 함께 모으는 행운을 누릴 수 있습니다.