AWK를 사용하여 이러한 중복을 제거하는 방법은 무엇입니까?

Question

AWK를 처음 사용하기 때문에 AWK에서 몇 가지 기본적인 아이디어를 얻었습니다. 나는 예를 들어, 파일에 을 중복을 제거하려면 :

0008.ASIA. NS AS2.DNS.ASIA.CN. 
    0008.ASIA. NS AS2.DNS.ASIA.CN. 
    ns1.0008.asia. NS AS2.DNS.ASIA.CN. 
    www.0008.asia. NS AS2.DNS.ASIA.CN. 
    anish.asia NS AS2.DNS.ASIA.CN. 
    ns2.anish.asia NS AS2.DNS.ASIA.CN 
    ANISH.asia. NS AS2.DNS.ASIA.CN. 

이, 샘플 파일에서 해당 나는이 같은 결과를 얻었다이 명령을 사용하여

awk 'BEGIN{IGNORECASE=1}/^[^ ]+asia/ { gsub(/\.$/,"",$1);split($1,a,".")} length(a)==2{b[$1]++;}END{for (x in b)print x}' 

0008.ASIA .
anish.asia.
ANISH.asia

하지만 내가 원하는 같은 출력이

008.ASIA 
    anish.asia 

또는

008.ASIA 
ANISH.asia 

어떻게 중복 이런 종류의를 제거하는 방법은 무엇입니까? 아니시 kumar.V이 즉시 reponse에 대한

덕분에, 사실 내가 bash는 완전한 스크립트를 썼다 사전 에

덕분에, 지금은 마지막 단계입니다. 방법 만 지금은 AWK 나를 위해 더 나은 사용하므로, 어떠한 제안을 고유 한 값을 얻는 방법을 검색하고이 부분에 그 :-(에 그

awk '/^[^ ]+ASIA/ && !_[$1]++{print $1; tot++}END{print "Total",tot,"Domains"}' $MainPath/$today.asia > $RootPath/zonefile/$today.asia 

에서

#!/bin/bash 

current_date=`date +%d-%m-%Y_%H.%M.%S` 
today=`date +%d%m%Y` 
yesterday=`date -d 'yesterday' '+%d%m%Y'` 
RootPath=/var/domaincount/asia/ 
MainPath=$RootPath${today}asia 
LOG=/var/tmp/log/asia/asiacount$current_date.log 

mkdir -p $MainPath 
echo Intelliscan Process started for Asia TLD $current_date 

exec 6>&1 >> $LOG 

################################################################################################# 
## Using Wget Downloading the Zone files it will try only one time 
if ! wget --tries=1 --ftp-user=USERNAME --ftp-password=PASSWORD ftp://ftp.anish.com:21/zonefile/anish.zone.gz 
then 
    echo Download Not Success Domain count Failed With Error 
    exit 1 
fi 
###The downloaded file in Gunzip format from that we need to unzip and start the domain count process#### 
gunzip asia.zone.gz > $MainPath/$today.asia 

###### It will start the Count ##### 
awk '/^[^ ]+ASIA/ && !_[$1]++{print $1; tot++}END{print "Total",tot,"Domains"}' $MainPath/$today.asia > $RootPath/zonefile/$today.asia 
awk '/Total/ {print $2}' $RootPath/zonefile/$today.asia > $RootPath/$today.count 

a=$(< $RootPath/$today.count) 
b=$(< $RootPath/$yesterday.count) 
c=$(awk 'NR==FNR{a[$0];next} $0 in a{tot++}END{print tot}' $RootPath/zonefile/$today.asia $RootPath/zonefile/$yesterday.asia) 

echo "$current_date Count For Asia TlD $a" 
echo "$current_date Overall Count For Asia TlD $c" 
echo "$current_date New Registration Domain Counts $((c - a))" 
echo "$current_date Deleted Domain Counts $((c - b))" 

exec >&6 6>&- 
cat $LOG | mail -s "Asia Tld Count log" 07anis@gmail.com 

을 파이썬을 호출합니다. 감사합니다 다시 즉각적인 응답을.

Answer 1

AWK를 사용하지 마십시오. 사용 파이썬을

import readlines 
result= set() 
for line in readlines: 
    words = lines.split() 
    if "asia" in words[0].lower(): 
     result.add(words[0].lower()) 
for name in result: 
    print name 

전자가 될 수 있음 AWK보다 더 많이 일해야한다. 예. 그것은 더 길다. 그러나 이해하기가 더 쉬울 수도 있습니다.

Answer 2

AWK 스크립트를 별도의 파일에 저장하면 실제 진행 상황을 알 수 있습니다.

# For each line in the file 
{ 

    # Decide on a unique key (eg. case insensitive without trailing period) 
    unique_key = tolower($1) 
    sub(/\.$/, "", unique_key) 

    # If this line isn't a duplicate (it hasn't been found yet) 
    if (!(unique_key in already_found)) { 

    # Mark this unique key as found 
    already_found[unique_key] = "found" 

    # Print out the relevant data 
    print($1) 
    } 
} 

당신은 awk에 -f option를 전달하여 AWK 파일을 실행할 수 있습니다 : 다음은 간단한 당신의 "중복을 걸러"문제에 대한 접근 방식입니다.

위의 스크립트는 AWK 스크립트로 인식 할 수없는 경우는, 여기가 인라인 형태 : BTW

awk '{ key = tolower($1); sub(/\.$/, "", key); if (!(key in found)) { found[key] = 1; print($1) } }' 

Answer 3

kent$ cat a 
0008.ASIA. NS AS2.DNS.ASIA.CN. 
0008.ASIA. NS AS2.DNS.ASIA.CN. 
ns1.0008.asia. NS AS2.DNS.ASIA.CN. 
www.0008.asia. NS AS2.DNS.ASIA.CN. 
anish.asia NS AS2.DNS.ASIA.CN. 
ns2.anish.asia NS AS2.DNS.ASIA.CN 
ANISH.asia. NS AS2.DNS.ASIA.CN. 


kent$ awk -F' NS' '{ gsub(/\.$/,"",$1);split($1,a,".")} length(a)==2{b[tolower($1)]++;}END{for (x in b)print x}' a 
anish.asia 
0008.asia 

, 내가 http://www.unix.com/shell-programming-scripting/167512-using-awk-how-its-possible.html 당신에게 해결책을 준 것을, 재미있다 파일에 새로운 것을 추가 한 다음 여기에 tolower() 함수를 추가했습니다.: D

Answer 4

은 또는, 단지 쉘을 사용

echo ' 0008.ASIA. NS AS2.DNS.ASIA.CN. 
    0008.ASIA. NS AS2.DNS.ASIA.CN. 
    ns1.0008.asia. NS AS2.DNS.ASIA.CN. 
    www.0008.asia. NS AS2.DNS.ASIA.CN. 
    anish.asia NS AS2.DNS.ASIA.CN. 
    ns2.anish.asia NS AS2.DNS.ASIA.CN 
    ANISH.asia. NS AS2.DNS.ASIA.CN.' | 
while read domain rest; do 
    domain=${domain%.} 
    case "$domain" in 
     (*.*.*) : ;; 
     (*.[aA][sS][iI][aA]) echo "$domain" ;; 
    esac 
done | 
sort -fu 

여기

0008.ASIA 
anish.asia 

Answer 5

를 생성하는 대안 솔루션입니다. sort이 맡았다-접어 UNIQ 목록을 만들어 보자 (그것은 정렬됩니다!)

0008.ASIA 
anish.asia 

편집

{ 
    cat - <<EOS 
    0008.ASIA. NS AS2.DNS.ASIA.CN. 
    0008.ASIA. NS AS2.DNS.ASIA.CN. 
    ns1.0008.asia. NS AS2.DNS.ASIA.CN. 
    www.0008.asia. NS AS2.DNS.ASIA.CN. 
    anish.asia NS AS2.DNS.ASIA.CN. 
    ns2.anish.asia NS AS2.DNS.ASIA.CN 
    ANISH.asia. NS AS2.DNS.ASIA.CN. 

EOS 
} | awk '{ 
     #dbg print "$0=" $0 
     targ=$1 
     sub(/\.$/, "", targ) 
     n=split(targ,tmpArr,".") 
     #dbg print "n="n 
     if (n > 2) targ=tmpArr[n-1] "." tmpArr[n] 
     print targ 
    }' \ 
| sort -f -u 

출력 : sort -f -u에 sort -i -u을 고정. 다른 많은 유닉스 유틸리티는 'ignorecase'를 표시하기 위해 '-i'를 사용합니다. 테스트 결과 최종 수정본을 수정하는 것을 잊었습니다.