Encog로 올바르게 훈련 및 검증

Question

저는 Encog에 뭔가 잘못하고 있다고 생각합니다. 지금까지 본 모든 사례에서 특정 교육 오류가 발생할 때까지 간단히 훈련을 한 다음 결과를 인쇄합니다. 그래디언트가 계산되고 숨겨진 레이어의 가중치가 업데이트되는 시점은 언제입니까? 이 모든 것이 training.iteration() 함수 내에 포함되어 있습니까? 내 훈련 프로그램 오류가 내 프로그램에서 줄어들지 만, 가중치가 변화하고 있음을 암시하는 것처럼 보이지만 네트워크를 통해 유효성 검사 세트를 아직 실행하지 않은 것입니다. 이는 네트워크를 구축 할 때 깨졌으며 훈련 세트에서 분리되었습니다. 교육 오류로 인해 유효성 검증 오류가 계속 감소하는지 확인하기 위해 처음부터 데이터).

또한 트레이너에 유효성 검사 세트를로드하고 compute()를 사용하여 네트워크를 통해 실행했지만 유효성 검사 오류는 항상 교육 오류와 유사하므로 훈련과 동일한 오류인지 여부를 판단하기가 어렵습니다. 한편, 테스트 성공률은 50 % 미만입니다 (학습하지 않을 경우 예상).

많은 종류의 역 전파 기술, 특히 탄성 backpropogation뿐만 아니라 그라디언트 디센트를 사용하는 일반적인 기술이 있습니다. 우리가 수동으로 업데이트 할 것으로 예상되는 네트워크의 부분은 무엇입니까?

Answer 1

Encog에서 Train.iteration 메서드 호출 중에 가중치가 업데이트됩니다. 여기에는 모든 가중치가 포함됩니다. 그래디언트 강하 유형 트레이너 (예 : 배경 화면, rprop, quickprop)를 사용하는 경우 각 반복 호출이 끝날 때 신경망이 업데이트됩니다. 인구 통계 기반의 트레이너 (예 : 유전 알고리즘 등)를 사용하는 경우 finishotining을 호출하여 트레이너의 생성자에 전달한 실제 신경망에 최고의 인구가 다시 복사 될 수 있도록해야합니다. 사실, 항상 반복 후 finishTraining을 호출하는 것이 좋습니다. 일부 강사는 그것을 필요로하고 다른 강사는 그렇지 않습니다.

또 다른 사실은 반복자를 호출 할 때 현재 오류를보고하고 일부 반복자는 반복 오류를보고하는 것입니다 (향상된 오류). 이는 일부 강사가 데이터를 두 번 반복하지 않아도되도록 효율성을 높이기위한 것입니다.

교육을 테스트하기 위해 유효성 확인을 유지하는 것이 좋습니다.

BasicNetwork.dumpWeights - 신경망의 가중치를 표시합니다. 이렇게하면 변경되었는지 확인할 수 있습니다. BasicNetwork.calculateError - 여기에 교육 세트를 전달하면 오류가 발생합니다.