정규화 된 Numpy 선형 회귀

Question

규칙 선형 회귀에 대한 내 코드의 문제가 보이지 않습니다. 나는 합리적으로 확신하는 단순히이,이 Unregularized 올바른지 :

def get_model(features, labels, lamb=0.0): 
    n_cols = features.shape[1] 
    return linalg.inv(features.transpose().dot(features) + lamb * np.identity(n_cols))\ 
      .dot(features.transpose()).dot(labels) 

으로 :

import numpy as np 

def get_model(features, labels): 
    return np.linalg.pinv(features).dot(labels) 

여기 내가 잘못이 무엇인지 표시되지 해요 정규화 솔루션에 대한 내 코드입니다 램에 대한 0.0의 기본값, 내 의도는 (정확한) 정규화되지 않은 버전과 동일한 결과를 제공해야하지만 차이는 실제로 실제로 큽니다.

문제가 무엇인지 누구에게 알 수 있습니까?

Answer 1

문제는 :

features.transpose().dot(features)

이 반전되지 않을 수 있습니다. numpy.linalg.inv는 문서에 따라 전체 등급 매트릭스에서만 작동합니다. 그러나 (0이 아닌) 정규화 용어는 항상이 방정식을 비 윤리적으로 만듭니다.

그런데, 당신은 구현에 대해 옳습니다. 그러나 그것은 효율적이지 않습니다. 이 방정식을 풀 수있는 효율적인 방법은 최소 제곱 법입니다.

np.linalg.lstsq(features, labels)은 np.linalg.pinv(features).dot(labels)에 대한 작업을 수행 할 수 있습니다.

일반적인 방법으로

, 당신이 할 수있는이

def get_model(A, y, lamb=0): 
    n_col = A.shape[1] 
    return np.linalg.lstsq(A.T.dot(A) + lamb * np.identity(n_col), A.T.dot(y))