큰 .gz 파일의 압축을 해제하십시오.

Question

Kaggle에서 다운로드 한 transactions.gz 파일을 압축 해제해야합니다. 대략 (2.86GB), 3 억 5 천만 행, 11 열. 3기가바이트 :

나는 RStudio, 윈도우 비스타 32 비트, RAM에 노력

transactions <- read.table(gzfile("E:/2014/Proyectos/Kaggle/transactions.gz")) 
write.table(transactions, file="E:/2014/Proyectos/Kaggle/transactions.csv") 

하지만 난이 사건을 확인 콘솔

> transactions <- read.table(gzfile("E:/2014/Proyectos/Kaggle/transactions.gz")) 
Error: cannot allocate vector of size 64.0 Mb 
> write.table(transactions, file="E:/2014/Proyectos/Kaggle/transactions.csv") 
Error: cannot allocate vector of size 64.0 Mb 

에이 오류 메시지가 나타날 수 있지만, 나를 위해 작동하지 않았다 : Decompress gz file using R

나는 어떤 제안이라도 인정할 것이다.

Answer 1

이 파일은 22GB .csv 파일의 압축을 풉니 다. R이 모든 것을 메모리로 읽어 들일 필요가 있기 때문에 6GB 머신에서 R로 한번에 처리 할 수는 없습니다. postgresql과 같은 RDBMS에서 처리하는 것이 가장 좋습니다. R을 사용하려는 경우 한 번에 처리 할 수있는 행 수를 읽고 청크로 처리하고 처리 한 후 다음 청크로 덮어 쓸 수 있습니다. 이 data.table::fread의 경우 표준 read.table보다 좋을 것입니다.

아, R에서 압축을 풀지 말고 명령 줄에서 gunzip을 실행 한 다음 csv를 처리하십시오. Windows 사용자 인 경우 winzip 또는 7zip을 사용할 수 있습니다.