사실이 3 개 질문입니다 : 내가 아는 경우 나, 다층 퍼셉트론의 가중치를 최적화하기 위해 사용한다 다중 퍼셉트론의 가중치를 최적화하기 위해 어떤 최적화 알고리즘을 사용해야합니까?
최적화 알고리즘
... 오차 함수의1) 값만? (블랙 박스)
2) (1 차 유도체)
3) 기울기 및 헤센? (2 차 미분)
CMA-ES는 1)과 BFGS는 2)에 대해 잘 작동한다고 들었지만 어떤 대안이 있는지 알고 싶습니다. 3) 알고리즘을 사용할 수 있는지 알지 못합니다.
마지막으로이 문제를 해결했습니다. 보강 학습 (고정 토폴로지 사용)에서 신경 네트워크를 최적화하기위한 몇 가지 효율적인 알고리즘이 있습니다. 지. CMA-ES (CMA-NeuroES) 또는 CoSyNE.
감독 학습을위한 최적의 최적화 알고리즘은 Levenberg-Marquardt (LMA) 인 것으로 보입니다. 이것은 최소 제곱 문제에 대해 특별히 설계된 알고리즘입니다. 연결 및 가중치가 많은 경우 필요한 공간이 크기 때문에 LMA가 제대로 작동하지 않습니다. 이 경우 나는 Conjugate Gradient (CG)를 사용하고 있습니다.
헤센 매트릭스는 최적화를 가속화하지 않습니다. 2 차 미분을 근사화하는 알고리즘은보다 빠르고 효율적입니다 (BFGS, CG, LMA).
편집 : 대규모 학습 문제의 경우 SGD (Stochastic Gradient Descent)가 다른 모든 알고리즘보다 우수한 성능을 발휘합니다.
그래, 처음에는 물어 본 질문에 실제로 답변하지 않지만 의견에서 언급 한 문제에 대한 해결책을 제공합니다.
연속 동작 공간을 다루는 것과 같은 문제는 일반적으로 오류 측정 값을 변경하는 것이 아니라 전체 네트워크의 아키텍처를 변경함으로써 처리됩니다. 이렇게하면 해결하려는 문제를 해결하는 동시에 매우 유익한 오류 정보를 계속 사용할 수 있습니다.
이 작업을 수행 할 수있는 가능한 아키텍처 변경 사항은이 question의 솔루션에서 설명합니다. 제 생각에는 주와 행동 공간이 모두 위의 링크에서 언급 한 논문에서 논의 된 자기 조직화 맵으로 표현되는 수정 된 Q- 학습 기술을 사용하는 것이 좋습니다.
이 정보가 도움이되기를 바랍니다.
답해 주셔서 감사합니다. 그러나 토폴로지를 변경하고 싶지는 않습니다.사실, 나는 ANN을 약간 수정했고 RL 문제로 그것을 테스트하고 싶다. 연속적인 상태 공간과 개별 작업 공간이있는 경우 입력 (s, a)과 출력 Q (s, a)가있는 ANN을 작성하여 정책을 생성 할 수 있습니다 (Q를 최대화하는 작업 선택 (s, a))에 대해 Q (s, a)를 계산함으로써 모든 a. 당신이 무한한 수의 행동을 점검해야했기 때문에, 계속적으로 이것은 효과가 없다. 그래서 저는 피트 (pi, s)를 피트 니스로서의 에피소드의 반환과 직접적으로 근사합니다. – alfa
남은 문자가 너무 적습니다. :)이 링크는 훌륭하다고 생각합니다. http://homepages.cwi.nl/~hasselt/papers/RL_in_Continuous_Spaces/Policy_Approximation.html. 특히 "진화 전략으로 정책 검색"에 관한 부분. – alfa
해결하려는 특정 문제가 있습니까? 나는 대부분의 ANN이 파생 상품을 쉽게 계산할 수있는 함수를 사용하기 때문에 오류 함수 만 사용하는 시나리오는 생각할 수 없다고 고백합니다. 역 전파를 사용하지 못하게하는 요인은 무엇입니까? – zergylord
나는 해결할 두 가지 카테고리의 문제를 가지고있다 : 1) 감독 학습 과제 (뇌 컴퓨터 인터페이스 데이터) 2) ... 과 함께 강화 학습 과제 2) contrinouos 상태와 이산 행동 공간. 여기에 오류 기능이 있고 backpropagation을 적용 할 수 있습니다. b) continouos 상태 및 작업 공간. 나는 ANN의 입력이 상태이고 출력이 동작이고 어떤 동작이 최적인지를 알지 못하기 때문에 나는이 경우에 직접적인 오류가 없을 것이라고 생각한다. 그러나 나는 fitness function (return)과 같은 것을 가지고있다. – alfa