루비를 사용하여 CSV 파일을 병렬 처리합니다.

Question

매우 큰 CSV 파일 인 ~ 800,000 행이 있습니다. 이 스크립트를 빠르게 처리하기 위해이 파일을 parellel에서 처리하려고합니다.

루비를 사용하여 파일을 n 개의 작은 조각으로 나누는 방법은 무엇입니까?

Answer 1

청크로 CSV 파일을 분할하는 순서이지만 각 청크가 첫 번째 줄을 CSV 헤더로 유지해야한다는 점을 명심해야합니다!

그래서 UNIX 'split'은 그것을 자르지 않습니다!

첫 번째 줄을 읽은 다음 변수에 저장 한 후 다음 N 줄을 새로운 부분 CSV 파일로 배포하지만 처음에는 CSV- 줄 줄을 복사하는 작은 루비 스크립트를 작성해야합니다 .

헤더와 줄 청크가있는 각 파일을 만든 후에는 Resque를 사용하여 Resque 작업자가 병렬 처리 할 파일을 등록 할 수 있습니다.

http://railscasts.com/episodes/271-resque

Answer 2

linux split 명령을 사용하여이 파일을 여러 개의 작은 파일로 분할 할 수 있습니다. 그런 다음이 작은 부분들을 처리 할 것입니다.

Answer 3

CSV 파일의 경우이 작업을 수행 할 수 있습니다 배열 (메모리) 또는 파일에 저장 선 (또는 스플릿 라인)으로

open("your_file.csv").each_line do |line| 
    # do your stuff here like split lines 
    line.split(",") 

    # or store them in an array 
    some_array << line 

    # or write them back to a file 
    some_file_handler << line 
end 

, 당신은 작은 조각으로 큰 파일을 깰 수 있습니다. 그 후에 스레드를 사용하여 각 조각을 처리 할 수 ​​있습니다.

threads = [] 
1.upto(5) { |i| threads << Thread.new { do your stuff with file[i] } } 

threads.each(&:join) 

스레드 안전을 유지하는 것은 사용자의 책임입니다.

희망이 도움이됩니다.

갱신 :

pguardiario의 조언에 따르면, 우리는 스탠드 라이브러리에서 대신 직접 파일을 여는 CSV를 사용할 수 있습니다.