상호 작용 특성이 선형 회귀의 성능을 향상시키는 이유

Question

선형 회귀 모델을 사용하여 Weka를 연구하고 있습니다. 필자는 데이터 세트의 두 가지 관련 속성을 곱하여 이것을 추가 속성으로 추가하여 선형 회귀 분석의 성능을 향상 시켰습니다. 그러나, 나는 이유를 이해할 수 없다! 왜 두 개의 관련 속성을 곱하면 더 나은 결과를 얻을 수 있습니다.

Answer 1

근사값을 구하는 함수가 원래 입력 값에서 선형이 아니라 제품에 있음을 나타내는 기호입니다. 사실상 다 변수 polynomial regression을 재발 명했습니다.

예를 들어, 당신이 근사하고있는 기능은 형태 Y = × X ² + B × X + C을 가지고 가정합니다. X에 장착 된 선형 회귀 모델은 좋은 결과를 제공하지 않습니다,하지만 당신은 그것을 먹이 때 모두 X ² 및 X, 올바른 및 B 배울 수 있습니다.

동일한 것을 변수 속에서 사실은 : 함수는 X ₁ 별도로 X ₂ 선형되지 않을 수도 있지만, X ₁ × X에있을 "상호 작용 속성"이라고합니다. (저는 이것을 교차 제품 기능 또는 기능 결합으로 알고 있는데, 이는 SVM의 다항 커널이 계산하는 것입니다. 따라서 SVM은 선형 모델보다 더 강력한 학습자입니다.)