왜 1 표준 SVM이 2 표준 SVM보다 더 희박합니까?

Question

SVM에 대해 동일한 비용 함수에서 2- 노멀 웨이트를 사용하는 것과 비교할 때 비용 함수에서 1- 노멀 가중치를 사용하여 희소성을 어떻게 높이는가? 1 규범에 대한

: 비용 기능 - Minimize ||w||_2

이는 LP-SVM에 관련이 :이 규범에 대한 Minimize ||w||_1
기능 - 비용?

Answer 1

참고 : | w || _2 < || w || _1 < w < 1 (일반적으로 발생)은 L2 표준이 가중치를 제곱하기 때문에 발생합니다.

그 이유는 || w || _1이 (는) 스파 스 벡터가되는 더 엄격한 제한 조건입니다.

SVM에만 국한되지 않고 많은 알고리즘이 L1 또는 L2 정규화를 사용합니다.

Answer 2

일부 매개 변수와 관련하여 l_1 손실의 부분 도함수를 조사하십시오.

손실은 무게 증가에 대해 일정합니다. 따라서 체중 증가는 이미 체중이 얼마나 작은 지에 관계없이 고정 된 양의 오차를 상쇄해야합니다.

페널티가 현재 매개 변수의 크기에 비례하여 l2 손실을 비교하십시오. 따라서 0에 가깝게되면 정규화 패널티를 상쇄하기 위해 오차가 극도로 감소해야합니다.