AWK는 두 번째 파일에서 선택한 헤더를 기반으로 파일에서 열을 추출합니다.

Question

awk에서 해결하고자하는 다음과 같은 문제가 있습니다. 하나의 커다란 텍스트 테이블이 있습니다. 쉼표는 100k 행과 5k col로 구성됩니다. 첫 번째 행은 헤더이고 첫 번째 열은 레코드 ID입니다. 그런 다음 첫 번째 파일에 헤더의 하위 집합을 포함하는 두 번째 텍스트 파일이 있습니다. 두 번째 파일에 주어진 목록에 헤더가 들어있는 첫 번째 파일의 모든 열을 추출하고 싶습니다. 여기 입력의 일례와 목표 출력 :

데이터 .txt

ID, head1, head2, head3, head4 
    1, 25.5, 1364.0, 22.5, 13.2 
    2, 10.1, 215.56, 1.15, 22.2 

List.txt 파일

head1 
head4 

원하는 출력 :

ID, head1, head4 
1, 25.5, 13.2 
2, 10.1, 22.2 

아무나 줘 수있는 awk에서 또는 유닉스 스크립팅을 통해이 문제를 해결하는 방법에 대한 조언? 어떤 도움을 주셔서 미리 감사드립니다!

Answer 1

내가 아이디어를 가지고,하지만 난 쉘 프로그래밍에 경험이 아니에요 (및 AWK를 모르는) 때문에 이것은 일부 바퀴를 개혁처럼 보인다 우스운 방법 :

$ cat DATA.TXT 
ID, head1, head2, head3, head4 
1, 25.5, 1364.0, 22.5, 13.2 
2, 10.1, 215.56, 1.15, 22.2 

$ cat LIST.TXT 
head1 
head4 

$ cols=($(sed '1!d;s/, /\n/g' DATA.TXT | grep -nf LIST.TXT | sed 's/:.*$//')) 

$ cut -d ',' -f 1$(printf ",%s" "${cols[@]}") DATA.TXT 
ID, head1, head4 
1, 25.5, 13.2 
2, 10.1, 22.2 

추신 bash 배열에 대한 아주 기본적인 아이디어를 this과 this 답으로 사용했습니다.

Answer 2

은 csv 파일에서 특정 열 이름을 추출하는 데 사용할 수있는 유용한 awk 스크립트 here 있습니다.

다른 파일에서 열 이름을 읽을 수 있도록 약간 수정했습니다. 아래 스크립트를 dataExtractor.sh으로 저장하십시오.

#!/bin/bash 

DATAFILE=${1:-data.txt} 
COLUMNFILE=${2:-list.txt} 

awk -F, -v colsFile="$COLUMNFILE" ' 
    BEGIN { 
    j=1 
    while ((getline < colsFile) > 0) { 
     col[j++] = $1 
    } 
    n=j-1; 
    close(colsFile) 
    for (i=1; i<=n; i++) s[col[i]]=i 
    } 
    NR==1 { 
    for (f=1; f<=NF; f++) 
     if ($f in s) c[s[$f]]=f 
    next 
    } 
    { sep="" 
    for (f=1; f<=n; f++) { 
     printf("%c%s",sep,$c[f]) 
     sep=FS 
    } 
    print "" 
    } 
' "$DATAFILE" 

하면 실행 :

$ cat data.txt 
ID,head1,head2,head3,head4 
1,25.5,1364.0,22.5,13.2 
2,10.1,215.56,1.15,22.2 

$ cat list.txt 
ID 
head1 
head4 

$ dataExtractor.sh data.txt list.txt 
1,25.5,13.2 
2,10.1,22.2