신경망의 장점과 단점

Question

신경망이 문제에 대한 '충분히 좋은'해결책을 찾는데 능숙하다고 말하는 것이 맞습니까?

주어진 입력에 대해 이진 출력을 제공하지 않지만 확률이 예를 들어 0.67이 출력이 될 수 있기 때문에 이것을 생각합니다.

일반화를 위해 자주 사용되기 때문에 추측하고 있습니다. 문제를 해결하는 솔루션을 찾는 것이 좋지만 드물게는 그렇지 않을 수도 있습니다.

감사합니다.

Answer 1

이 질문에 대한 쉬운 대답은 없습니다. 신경 네트워크의 장점/단점은 매우 복잡한 주제입니다. 다음은 몇 가지 지침입니다.

• 무료 점심 법칙 : 대략 설명하면이 이론은 "완벽한"기계 학습 방법이 없음을 증명합니다. 특정 방법이 좋은 모든 문제에 대해 동일한 방법으로 무시 무시한 문제가 발생합니다. 그러나 실패한 방법은 다른 방법으로는 쉽게 해결할 수 있습니다. 이는 기계 학습을 할 때 항상 고려되어야합니다.

• 신경망은 구현하기가 아주 간단합니다 (SVN에 대한 예제처럼 좋은 선형 대수학 솔라가 필요하지 않습니다).

• 신경망의 VC 차원이 불분명합니다. 이는 솔루션이 얼마나 좋은지 고려하고 싶을 때 매우 중요합니다.

• 신경망을 재교육 할 수 없습니다. 나중에 데이터를 추가하면 기존 네트워크에 추가하는 것이 거의 불가능합니다.

• 신경망은 종종 인간이 나타내는 것과 유사한 패턴을 나타낸다. 그러나 이것은 실용적인 사례보다는인지 과학에 더 관심이 있습니다.

• 신경망에서 시계열 데이터를 처리하는 것은 매우 복잡한 주제입니다.

이것은 내가 지금 생각할 수있는 전부입니다. 아마 다른 사람이 더 추가 할 수 있습니다.

Answer 2

이것은 매우 광범위한 질문입니다. 일반적으로 하나의 숨겨진 레이어, 비선형 활성화 함수 및 숨겨진 뉴런의 충분한 수를 가진 신경망은 임의의 정밀도로 모든 함수를 근사 할 수 있습니다. 그러나 오류 함수는 볼록하지 않으므로 학습 결과는 초기화에 따라 달라집니다.

SVM은 모든 기능을 근사 할 수 있습니다. 최적화 문제에 고유 한 솔루션이 있으며 다른 이유로 인해 매우 인기가 있습니다. 그러나 최근 연구에 따르면 다중 레이어 퍼셉트론, 길쌈 신경 네트워크, 심층 신념 네트워크, 다중 열 깊이 신경 네트워크 등과 같은 신경망이 더 효율적이며 방대한 양의 데이터가있는 복잡한 응용 프로그램의 경우 더 나은 결과를 얻을 수 있다는 것이 밝혀졌습니다. 따라서 LiKao가 말한 것처럼 (자유 점심 정리가없는) 항상 분류가되며 분류자가 "완벽"하지 않습니다.http://yann.lecun.com/exdb/mnist/

: 여기 http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf

표준 벤치 마크 및 다른 학습 알고리즘의 비교입니다 : 여기

은 서포트 벡터 머신을 포함 "얕은 네트워크"에 비해 깊은 네트워크의 장점을 설명하는 종이가

다음은 시각적 인 문제 (교통 표지 인식, ocr)를 해결하는 데 특히 유용한 새로운 유형의 신경망을 설명하는 문서입니다. http://arxiv.org/abs/1202.2745