Julia의 스트리밍 데이터

Question

현재 Julia의 스트리밍 방식으로 데이터를 읽을 수있는 좋은 방법이 있습니까?

예를 들어 메모리에 저장하기에는 너무 큰 CSV 파일이 있다고 가정 해 봅니다. 현재이 기능을 사용하여 쉽게 작업 할 수있는 기능이나 라이브러리가 있습니까?

DataFrames의 프로토 타입 DataStream 기능을 알고 있지만 현재 공개 API를 통해 공개되지 않았습니다.

Answer 1

각 행 기능은 IO 소스를 회선의 반복자로 변환합니다. 그렇게하면 한 번에 한 줄씩 파일을 읽을 수 있습니다. readcsv 및 readdlm 함수는 IOBuffer로 변환하면 각 행을 읽을 수 있습니다.

for ln in eachline(open("file.csv")) 
    data = readcsv(IOBuffer(ln)) 
    # do something with this data 
end 

여전히 자신이 잘하고 있지만 그렇게 많은 단계가 없으므로별로 나쁘지 않습니다.