svm 개념적 쿼리

Question

SVM에 대한 몇 가지 기본 개념 쿼리가 있습니다. 어느 것이 나에게 도움이된다면 큰 도움이 될 것입니다. 데이터 포인트가 있다면 내가 어떻게 알 수 m> 2 - 나는

1. 이 m 데이터 점을 특징으로한다고 가정 나는 한 동안 책과 강의를 공부했지만 제대로 이러한 쿼리에 대한 답변을 얻을 수 없었다 선형 분리 가능 여부. 필자가 올바르게 이해했다면 선형 적으로 분리 가능한 데이터 포인트 - 치수를 늘릴 필요가 없기 때문에 하이퍼 평면을 찾는 데 특별한 커널이 필요하지 않습니다.

2. 데이터가 선형으로 분리 가능한지 여부는 확실하지 않습니다. 나는 선형 커널을 가진 하이퍼 비행기를 얻으려고 노력한다. 한 번은 느슨 함으로, 한 번은 lagrange 승수로 느슨하지 않게한다. 이 두 가지 하이퍼 비행기에 대한 교육 및 테스트 데이터의 오류율에 어떤 차이가 있는지 알 수 있습니다. 만약 내가 올바르게 이해한다면, 데이터가 선형으로 분리 가능하지 않고 슬랙스를 사용하지 않는다면 최적의 평면이 될 수 없습니다. 그렇다면 svm 알고리즘이 나에게 달리기에 다른 하이퍼 비행기를 주어야합니까? 이제 내가 여유를 갖게 될 때마다 항상 같은 하이퍼 비행기를 사용해야합니까? 그리고 데이터가 선형 적으로 분리 가능한지 아닌지에 대해 얼마나 정확하게 하이퍼 평면의 lagrange 승수에서 찾을 수 있습니까?

3. 이제 2에서부터 데이터가 m 차원에서 선형으로 분리되지 않는다는 것을 알게되었습니다. 그래서 저는 차원을 증가시키고 그것이 더 높은 차원에서 분리 될 수 있는지 봅니다. 내가 얼마나 높은 곳으로 가야 하는지를 어떻게 알 수 있습니까? 나는 계산이 그 공간에 들어 가지 않는다는 것을 안다. 그러나 3에서 가장 좋은 커널이 무엇인지 알아내는 방법이있다. (즉, 나는 선형 적으로 분리 된 초평면을 찾고자한다).

4. Matlab에서 하이퍼 플레인과 데이터 포인트를 시각화하는 가장 좋은 방법은 피쳐 크기가 60만큼 클 수 있고 초평면은> 100 치수 (i, e 데이터 포인트는 수백 개이며 Gaussian 기능 벡터가> 100 차원으로 변경되는 커널).

누군가가 내가 질문 (1)에 집중하려고거야 감사

Answer 1

이러한 의문을 해결되었는지 정말 감사합니다 (2)와 (3). 실제로 문제가 선형으로 분리 될 수는 없지만 분류기가 보이지 않는 데이터 (분류가 얼마나 잘되었는지)에서 얼마나 잘 수행되는지가 가장 중요합니다. 데이터를 선형으로 분리 할 수있는 좋은 커널을 찾고 싶다면 항상 이것을 할 수 있습니다 (각 트레이닝 포인트에 극히 좁은 가우스 RBF를 두는 것을 고려하십시오). 그러나 실제로 원하는 것은 보이지 않는 데이터에 대한 좋은 성능입니다 . 즉 :

• 문제가 선형으로 분리 될 수없고 바지를 사용하지 않으면 최적화에 실패합니다. 그것은 구현과 특정 최적화 알고리즘에 따라 어떻게 실패 하는가, 수렴하지 않습니까?, 하강 방향을 찾지 못합니까? 그것이 수치적인 어려움을 겪고 있습니까? 바클로 케이스를 결정하려고해도 숫자로 인해 어려움을 겪을 수 있습니다. 그러면 선형 분리 성 알고리즘을 신뢰할 수 없게 만듭니다.
• 얼마나 가야합니까? 글쎄 그것은 근본적인 질문입니다. 이를 데이터 표현의 문제라고합니다. 사람들은 직선적 인 해결책을 위해 (사람들은 선형 분리성에 관심이 없으며 데이터를 보관할 때 좋은 성능을 중요하게 생각합니다.) 매개 변수 검색 (예 : RBF 커널은 선형 커널보다 엄격하게 표현할 수 있습니다)을 사용합니다. 올바른 감마. 그래서 문제는 당신의 데이터를위한 좋은 감마를 발견하게됩니다.예를 들어,이 백서를 참조하십시오. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.141.880
• 라그랑 지 승수와 선형 분리 가능성 값 사이에 사소한 연결이 있다고 생각하지 않습니다. 값이 C 인 높은 alphas를 시도 할 수는 있지만 많이 말할 수 있을지 확신 할 수 없습니다.