병렬 AWK 사용하기 - 들어 본 사람이 있습니까?

Question

그런 것이 있습니까? 아무도 이것에 친절히 설명 할 수 있습니까? AWK를 사용하여 열 인쇄 및 대용량 데이터 파일 병합과 같은 간단한 작업을 수행했지만 계산은 수행하지 않았습니다. 내 컴퓨터 나 네트워크의 모든 노드와 CPU를 사용하여 AWK를 병렬로 실행할 수 있는지 생각 중입니다. 그러나 어떻게? 병렬 AWK를 사용하는 주 목적은 무엇입니까?

입력 해 주셔서 감사합니다.

질문을 게시 한 후 Parallel AWK가 있음을 알았습니다. 그것에 대해 더 많이 알 수 있습니다. 여기에 링크가 있습니다 http://www.parallel-awk.org/

Answer 1

병렬 awk 구현의 문제점은 의미론이 조작이 순서대로 처리된다고 가정한다는 것입니다. 예를 들어 :

awk '{print NR, $0}' 

당신에게 cat -n에 가까운 출력을 제공합니다. 이것을 병렬로 처리 할 때의 어려움은 주어진 파일의 줄 수만이 아니라 처리 된 줄의 총 수인 것입니다. (FNR)

또한 getline과 같은 명령을 사용하는 더 복잡한 트릭이 있습니다. 병렬 처리 (예를 들어, 스크립트는 gnu nextfile 확장을 에뮬레이트하기 위해 단락 될 수 있습니다)