나는이 작업을 수행하는 방법에 대해 꽤 합리적인 생각이 있다고 생각하지만, 모든 단계에서 100 % 확실하지는 않습니다. 이 질문은 대부분 제가 가장 효율적인 방법으로 이것을 수행하고 내 수학이 실제로 (내 통계 지식이 완전히 완벽하지 않으므로) 소리가 나는지 확인하기위한 온 전성 검사로 주로 사용됩니다.Python에서 많은 회귀를 계산하는 가장 빠른 방법은 무엇입니까?
어쨌든, 내가 뭘하려는거야에 대한 몇 가지 설명 :
은 내가 일부 선형 회귀 분석을 수행하고자하는 시계열 데이터를 많이 가지고있다. 특히 500 가지 변수에 대한 대략 2000 건의 관찰 결과가 있습니다. 각 변수에 대해 두 가지 설명 변수 (약 2000 개의 관측치가있는 두 개의 추가 벡터)를 사용하여 회귀 분석을 수행해야합니다. 따라서 각각의 500 가지 Y에 대해 Y = aX_1 + bX_2 + e에서 a 및 b을 찾아야합니다.
까지 지금까지 회귀 분석을 수행하기 위해 statsmodels 패키지의 OLS 함수를 사용했습니다. 그러나 내가 알 수있는 한, 내 문제를 해결하기 위해 statsmodels 패키지를 사용하고 싶다면 일반적으로 비효율적 인 것처럼 수백 번 호출해야합니다.
그래서 대신 오랫동안 정말 감동하지 않은 통계를 다시 살펴보기로 결정했습니다. 내 지식이 여전히 정확하다면 모든 관측을 약 2000x500의 하나의 큰 Y 행렬에 넣을 수 있습니다. 그런 다음 설명 변수를 대략 2000x2 인 X 행렬에 붙이고 모든 결과를 얻습니다 (X'Y)/(X'X)을 계산하여 나의 회귀의 500. 기본 numpy 항목 (matrix.I를 사용하여 * 및 역수를 사용하는 행렬 곱셈)을 사용하여이 작업을 수행하는 경우 수백 개의 statsmodel OLS 호출을 수행하는 것보다 훨씬 빠를 것이라고 추측합니다.
- 내가 여러 번 statsmodels를 호출 이전 방법보다 더 빨리 일을하고있는 NumPy와 물건인가 :
여기에 내가 가지고있는 질문은? 그렇다면, 내가 원하는 것을 성취하는 가장 빠르고 효율적인 방법입니까? 나는 그것이 그렇다고 추측하고 있지만 더 나은 방법을 안다면 나는 그것을 듣고 기뻐할 것입니다. (분명히 나는 이런 식으로 많은 회귀를 계산할 필요가있는 최초의 사람이 아니다.)
- 행렬에 누락 된 데이터를 어떻게 처리합니까? 내 시계열 데이터가 훌륭하고 완벽하지 않아 때때로 값이 누락됩니다. Numpy에서 정규 행렬 곱셈을 시도하면 NA 값이 전파되고 최종 결과로 주로 NAs 행렬로 끝납니다. 독립적으로 각 회귀 분석을 수행하면 회귀 분석을 수행하기 전에 NAs가 포함 된 행을 삭제할 수 있지만 큰 2000x500 행렬에서이 작업을 수행하면 다른 일부 변수에서 실제가 아닌 비어있는 데이터가 삭제됩니다. , 나는 분명히 그런 일이 일어나기를 원하지 않는다.
- 처음 매트릭스를 매트릭스에 배치하기 전에 시계열 데이터가 실제로 올바르게 정렬되도록하는 가장 효율적인 방법은 무엇입니까? 내 관측치의 시작일과 종료일은 반드시 같을 필요는 없으며 어떤 시리즈에서는 다른 관측치가없는 날도있을 수 있습니다. 이 작업을 수행하는 방법을 선택해야한다면 모든 관측 내용을 날짜로 인덱싱 된 팬더 데이터 프레임에 넣을 것입니다. 그렇다면 팬더는 모든 작업을 나를 위해 모든 작업을 완료하게 될 것이며, 작업이 완료된 후에 기본 ndarray를 추출 할 수 있습니다. 이것이 최선의 방법입니까, 아니면 팬더에 다른 방식으로 행렬을 만들지 않고 피할 수있는 오버 헤드가 있습니까? 반복 statsmodels를 호출
어쩌면 http://codereview.stackexchange.com/이 귀하의 질문에 더 좋은 곳입니까? http://codereview.stackexchange.com/tour를 참조하십시오. – boardrider