cygwin curl 또는 wget이 404를 찾고 있습니다.

Question

나는 404'ing 중 어떤 것이 있는지 확인하기 위해 인용 된 URL이 들어있는 텍스트 문서를 찾으려고합니다. 404가 있으면 텍스트 문서에 넣으려고 시도한 URL을 얻고 싶습니다. 아무도 내가이 일을하도록 도울 수 있습니까?

나는 그것이 404 인 경우에만 URL을 찾고 있습니다. 다른 모든 출력 wget은 원하지 않습니다. - spider 등이 제공합니다.

Answer 1

스크립트

#!/bin/sh 
while read 
do 
    echo "$REPLY" 
    if wget --spider -q "$REPLY" 
    then 
    echo "200 OK" 
    else 
    echo "404 Not Found" 
    echo "$REPLY" >> p404s.txt 
    fi 
    echo 
done < test-urls.txt 

스크립트 출력

http://stackoverflow.com 
200 OK 

http://stackoverflow.com/1 
404 Not Found 

http://superuser.com 
200 OK