다른 사본을 유지하면서 특정 중복 행을 제거합니다.

Question

파일에서 대부분의 중복 행을 제거하려고합니다 (또는 더 정확하게는 스크립트 출력의 파이프 출력). 그러나 특정 패턴을 포함하는 다른 행을 유지하려고합니다. 은 단순히 모든 중복을 제거하고자하는 경우

awk '!($1 in a){a[$1];print}' OR 
awk '!x[$0]++' 

일 큰 것을 여기에 다른 곳에서 본 적이. 그러나이 메커니즘에 조건을 쉽게 추가 할 수 있습니까?

예를 들어, 어디서 모든 라인을 유지하려면 :

$1==".:"||$1==":."||$1==":"||$1="." 

하지만, 다른 라인은, 내가 중복되지 않습니다해야 할 것입니다. 아래 예제에서 "/ bin"과 "/ usr/bin"을 제거하고 싶습니다.

/bin 
: 
/usr/bin 
: 
/usr/openwin/bin 
: 
/usr/bin 
: 
/usr/etc 
: 
/etc 
:. 
: 
a 
: 
/usr/bin/X11 
: 
. 
: 
/bin 
: 

감사

이 당신을 위해 작동합니다

Answer 1

:

awk '!($1 in a) || ($1 == ":") || ($1 == ":.") || ($1 == ".:") || ($1 == ".") {a[$1];print}' 

Answer 2

이 일을합니까?

awk '($1==".:"||$1==":."||$1==":"||$1="."||!x[$0]++)' $file 

Answer 3

$ awk '!seen[$0]++ || ($1 ~ /^(\.:|:\.|:|\./)$)' file  
/bin 
: 
/usr/bin 
: 
/usr/openwin/bin 
: 
: 
/usr/etc 
: 
/etc 
:. 
: 
a 
: 
/usr/bin/X11 
: 
. 
: 
: