scikit-learn PCA를 사용하여 기능 감소 및 폐기 된 기능 알아보기

Question

치수가 m x n 인 행렬에서 PCA를 실행하려고합니다. 여기서 m은 피처 수이고 n은 샘플 수입니다.

최대 분산으로 nf 기능을 보존한다고 가정합니다. scikit-learn으로 나는이 방법으로 그것을 할 수 있어요 :

from sklearn.decomposition import PCA 

nf = 100 
pca = PCA(n_components=nf) 
# X is the matrix transposed (n samples on the rows, m features on the columns) 
pca.fit(X) 

X_new = pca.transform(X) 

지금, 나는 n 개의 X의 NF의 형상을 갖는 새로운 매트릭스 X_new를 얻을. 어떤 기능이 삭제되었거나 유지 된 기능인지를 아는 것이 가능합니까?

감사

Answer 1

PCA 개체가 피팅 중에 결정한 기능은 pca.components_입니다. pca.components_에 걸친 것과 직교하는 벡터 공간은 버려집니다.

PCA는 미리 정의 된 기능 (사용자가 지정한 열로 인코딩 됨)을 "버리거나"보존하지 않습니다. 최대 분산의 직교 방향을 찾기 위해 (가중치 합계로) 모두를 섞습니다.

이것이 당신이 찾고있는 행동이 아니라면, PCA 차원 감소는 갈 길이 아닙니다. 몇 가지 간단한 일반적인 기능 선택 방법은 sklearn.feature_selection

Answer 2

주성분 상에 투사 기능이 중요한 정보를 유지 (최대 차이로 축)되며 작은 방울로 분산 축. 이 동작은 compression (폐기하지 않음)과 같습니다. 그것은 당신이 여기에 X_rec

로

X_rec = pca.inverse_transform(X_proj) # X_proj is originally X_new 

재구성 할 수 principal components

위에 X의 투사이기 때문에

그리고 X_proj이 X_new의 더 나은 이름이고, X_rec는 X에 가까운,하지만 less important 정보는 PCA에 의해 삭제되었습니다. 그래서 우리는 X_rec이 denoised라고 말할 수 있습니다.

내 의견으로는 the noise이 삭제되었다고 말할 수 있습니다.

Answer 3

위의 답변이 잘못되었습니다. sklearn 사이트는 components_ 배열이 정렬되어 있음을 분명히 표시합니다. 따라서 중요한 기능을 식별하는 데 사용할 수 없습니다.

components_ : 배열 데이터의 최대 변화의 방향을 나타내는 기능 공간 [n_components, n_features] 주축. 구성 요소는 explain_variance_로 정렬됩니다.

http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html