선형 회귀 기계 거대한 데이터로 모델 학습 학습

Question

전철 파일이 약 8GB 인 기계 학습 선형 회귀 문제를 연구 중입니다.

내 Tp가 높은 구성이지만 지원하지 않습니다. 따라서 교육 목적으로 전체 파일을 전달하는 대신 열차 파일을 10/20 파일로 나누고이 파일을 하나씩 차례로 모델링 할 수 있습니까?

이 접근 방식이 효과가 있습니까, 아니면 전체 데이터를 한 번에 모델링해야합니까?

Answer 1

예, 작동합니다. 그렇게하기 위해 Stochastic Gradient Descent라고 불리우며, 데이터가 메모리에 들어 가지 않을 때 훈련하는 표준 방법입니다.

스토캐스틱은 "임의성이 있음"을 의미하며 모든 데이터의 실제 그래디언트가 아니라 일부 데이터를 기반으로하는 그래디언트의 근사값을 따르기 때문에이 값이라고합니다. 정확한 옳은 방향으로 항상 업데이트하는 것은 아니지만 단계 크기가 충분히 작고 배치가 충분히 큰 경우 절차는 여전히 잘 작동합니다.

주의 사항 : 각 파일마다 하나씩 완료하도록 교육 할 수 없습니다. 이렇게하면 두 번째 파일을 교육하면 첫 번째 파일에서 배운 값을 잊게됩니다.

대신 데이터의 "배치"라고 불리는 것에 대해 교육해야하며 배치 당 하나의 업데이트 단계를 수행해야합니다.

for file in files: 
    while not Model.stop_condition(): 
     Model.train_step(file) 

그리고 이것은 좋은 :

그래서,이 나쁜

while not Model.stop_condition(): 
    for file in files: 
     Model.train_step(file)