우분투 반복되는 열이있는 텍스트 파일에서 행을 제거하십시오.

Question

다음과 같은 텍스트 파일이 있습니다.

1 1223 abc 
2 4234 weroi 
0 3234 omsder 
1 1111 abc 
2 6666 weroi 

나는 3 열에 대해 고유 한 값을 갖고 싶습니다. 아래 파일을 갖고 싶습니다.

1 1223 abc 
2 4234 weroi 
0 3234 omsder 

나는 이것이 리눅스의 기본적인 명령을 사용 할 수 있습니까? Java 또는 무언가를 사용하지 않고.

Answer 1

awk 스크립팅으로이 작업을 수행 할 수 있습니다.

이

awk 'BEGIN {col=3; sep=" "; forbidden=sep} {if (match(forbidden, sep $col sep) == 0) {forbidden=forbidden $col sep; print $0}}' input.file 

BEGIN 키워드는 3 열 값을 모니터링하는 데 사용되는 forbidden 문자열을 선언 : 다음 코드 조각은 내가 당신의 문제를 해결하기 위해 함께했다입니다. 그런 다음 match 키워드는 현재 행의 세 번째 열에 forbidden 값이 포함되어 있는지 확인합니다. 그렇지 않으면 열의 내용을 forbidden 목록에 추가하고 전체 행을 인쇄합니다.

여기에서 sep=" "은 분리 기호를 인스턴스화합니다. 우리는 서로 다른 값을 넣음으로써 생성 된 단어를 피하기 위해 각 forbidden 값 사이에 sep을 사용합니다. 예를 들어이 경우

1 1111 ta 
2 2222 to 
3 3333 t 
4 4444 tato 

세퍼레이터없이 t 및 tato는 forbidden 값으로 간주된다. 기본적으로 각 열을 구분하는 데 사용되므로 ""을 구분 기호로 사용하므로 열에는 이름에 공백이 포함될 수 없습니다.

복제본을 제거해야하는 열의 번호를 변경하려면 col=3을 필요한 열의 수 (전체 줄 0, 첫 번째 열의 경우 1, 두 번째, ...)