웹 페이지의 도메인을 반환하는 Linux 스크립트

Question

이 질문에 대한 대답은 입니다. 첫 번째 인수로 URL을 사용하고 HTML의 호스트/도메인 당 링크 수에 대한 통계를 인쇄합니다. URL. 그것이

www.bbc.co.uk: 45 
bbc.com: 1 
google.com: 2 
Facebook.com: 4 

뭔가를 인쇄 할 수 www.bbc.co.uk 같은 URL 지정된 인스턴스에 대한 그래서

, 그것은 검사, 모든 링크를 꺼내 페이지의 HTML을 분석한다 href 속성을 사용하고 어떤 도메인이 동일한 도메인인지 (물론 당연한 것임), 그리고 어떤 도메인이 외국인지를 결정한 다음 로컬 도메인과 원격 도메인에 대한 통계를 생성합니다.

규칙 : 스크립트에 표준 Linux 명령 세트를 사용할 수 있습니다. C, Python 또는 Perl과 같은 상위 레벨 프로그래밍 언어는 사용할 수 없습니다. 당신은 그러나 다음과 같이

내가 솔루션을 내놓았다 등 AWK, 나오지도를 사용할 수있다 :

#!/bin/sh 

echo "Enter a url eg www.bbc.com:" 
read url 
content=$(wget "$url" -q -O -) 
echo "Enter file name to store URL output" 
read file 
echo $content > $file 
echo "Enter file name to store filtered links:" 
read links 
found=$(cat $file | grep -o -E 'href="([^"#]+)"' | cut -d'"' -f2 | sort | uniq | awk '/http/' > $links) 
output=$(egrep -o '^http://[^/]+/' $links | sort | uniq -c > out) 
cat out 

그때 내가 데이터를 보면 다음 확인 프로그램 거래 것을해야한다 "는 말을 들었다 모든 시나리오에서 만족 스럽습니다. URL은 있지만 도메인은보고하지 않습니다. " 내 목표를 달성 할 수 있도록 저를 도울 수있는 사람이 있습니까? 나는 무엇을 놓치고 스크립트가 무엇을하지 못하고 있는가? 나는 내가 필요로하는 것처럼 작동하게 만들었다 고 생각했다.

Answer 1

스크립트의 출력은 다음과 같습니다

 7 http://news.bbc.co.uk/ 
     1 http://newsvote.bbc.co.uk/ 
     1 http://purl.org/ 
     8 http://static.bbci.co.uk/ 
     1 http://www.bbcamerica.com/ 
    23 http://www.bbc.com/ 
    179 http://www.bbc.co.uk/ 
     1 http://www.bbcknowledge.com/ 
     1 http://www.browserchoice.eu/ 

가 나는 그들이 더 같이해야한다는 것을 의미 생각 :

 7 news.bbc.co.uk 
     1 newsvote.bbc.co.uk 
     1 purl.org 
     8 static.bbci.co.uk 
     1 www.bbcamerica.com 
    23 www.bbc.com 
    179 www.bbc.co.uk 
     1 www.bbcknowledge.com 
     1 www.browserchoice.eu