awk를 사용하여 청크로 데이터를 처리하고 저장하는 방법은 무엇입니까?

Question

한 번 전체 파일을 읽을 수없는 큰 (수 GB) 파일을 여는 것을 가정 해 봅니다.

for chunk in pd.read_csv('path/filename', chunksize=10**7): 
    # save chunk to disk 

을 아니면 팬더와 비슷한 뭔가를 할 수 : 그것은 csv 파일이 있다면

, 우리가 사용하는 것이

import pandas as pd 
with open(fn) as file: 
    for line in file: 
     # save line to disk, e.g. df=pd.concat([df, line_data]), then save the df 

어떻게 않는 awk 스크립트 하나 "덩어리"데이터? Awk는 텍스트를 원하는 형식으로 파싱/처리하지만 awk로 "덩어리"하는 방법을 모르겠습니다. 하나는 스크립트 script1.awk을 작성한 다음 데이터를 처리 할 수 ​​있지만이 작업은 전체 파일을 한 번에 처리합니다. 더 구체적인 예와

관련 질문 : How to preprocess and load a "big data" tsv file into a python dataframe?

Answer 1

AWK 디자인에 의해 한 번에 하나의 레코드 (덩어리)를 읽습니다. 기본적으로 레코드는 데이터 라인이지만 RS(레코드 구분 기호) 변수를 사용하여 레코드를 지정할 수 있습니다. 각 코드 블록은 다음 읽기 전에 조건부 현재 레코드에 실행됩니다

$ awk '/pattern/{print "MATCHED", $0 > "output"}' file 

가 위의 스크립트는 입력 파일에서 한 번에 한 줄을 읽어와 그 라인이 pattern을 matchs 경우가있는 라인을 절약 할 수 다음 줄을 읽기 전에 파일 출력 앞에 MATCHED이 붙습니다.