대용량 파일을 첫 번째 열 값을 기준으로 일련 번호가 지정된 파일로 분할합니다.

Question

열 1에 다른 값이있는 것처럼 많은 파일을 원하지는 않지만 비슷한 질문을 신중히 인용합니다. here 예를 들어, from :

A.B|100|20 
A.B|101|20 
A.X|101|30 
A.X|1000|20 
B.Y|1|1 
B.Y|1|2 

각 파일에 최대 5 줄까지 포함 된 x 파일로 분할하고 싶습니다. 예에서, 내가이 개 파일을 원하는 것 :

A.B|100|20 
A.B|101|20 
A.X|101|30 
A.X|1000|20 

및

B.Y|1|1 
B.Y|1|2 

된 awk -F를 \ | '{print> $ 1}'file1

이 예제의 경우 2 단계로 쉽게 목표를 달성 할 수 있습니다. 내 실제 파일의 경우, 첫 번째 열에 약 200Gig의 큰 파일과 10 백만 개의 고유 값을 분할하려고합니다. 각 파일에 약 1,000,000 개의 줄 (예 : 유연한 임계 값)이 있어야합니다. 내가 수백만 개의 파일을 생성 할 여력이 없어서 2 단계로 작성하는 것은 불가능합니다. 어떤 생각?

이중 스캐닝

Answer 1

파일은 당신이 고유 키 중 하나를 원하는 파일의 길이보다 더 레코드가 할 수있는 경우 그러나, 비 분할 및 최대 파일 길이를 유지하면 충돌 할

$ awk -F\| -v size=5 'NR==FNR {a[$1]++; next} 
       FNR==1 || p!=$1 {if(count+a[$1]>=size) {f++; count=0} 
           else count+=a[$1]; p=$1} 
           {print > "_file_"f+0}' file{,} 

$ head _f* 
==> _file_0 <== 
A.B|100|20 
A.B|101|20 
A.X|101|30 
A.X|1000|20 

==> _file_1 <== 
B.Y|1|1 
B.Y|1|2 

메모를 할 수있는 . 이 스크립트에서는 비분 할이 더 중요하다고 가정했습니다. 예를 들어, 동일한 입력 파일 변경의 경우 size = 1로 설정하십시오. 키는 별도의 파일로 분할되지 않지만 파일 길이는 1보다 커집니다.