주어진 URL이 리디렉션되는지 아니면 스크립트를 사용하지 않는지 찾는 방법은 무엇입니까?

2,50,000 개 이상의 웹 사이트 URL이있는 텍스트 문서가 있습니다. 각 URL을 통해 특정 URL (다른 사이트)로 리디렉션되는 경우이를 다른 텍스트 파일에 저장하려고합니다.주어진 URL이 리디렉션되는지 아니면 스크립트를 사용하지 않는지 찾는 방법은 무엇입니까?

저는 C# 개발자이고 파일 및 작은 조각을 읽거나 쓰는 방법을 알고 있지만 가능한 모든 프로그래밍 언어로 위의 작업과 스크립트를 수행하는 최상의 논리 또는 방법을 찾고 있습니다.

출처

2012-09-08 tereško

호기심에서 벗어나, 무엇을하고 있습니까? 이것은 꽤 이상하게 들린다. –

호기심 = 발명을 향해 한발 더 나아간 어쨌든 마케팅 전술 프로젝트의 일종은 더 이상 세부 사항을 제공 할 수 없다. 기밀 정보, 기분 좋은 블로그를 얻은 것처럼 미안하다.) –

스패머가 맞습니까? –

string url = "http://www.google.com"; 
var req = (HttpWebRequest)HttpWebRequest.Create(url); 
req.AllowAutoRedirect = false; 

using (var resp = req.GetResponse()) 
{ 
    var location = resp.Headers["Location"]; 
    if (!String.IsNullOrEmpty(location)) 
    { 
     Console.WriteLine("url is redirected to " + location); 
    } 
}

출처

2012-09-08 09:27:41

bash 스크립트를 사용하십시오. something like

#!/bin/bash 

$SITESFILE=/path/to/your/input/file 
$OUTPUTFILE=/path/to/your/output/file 
$TARGETURL=http://where.to/redirect 

for SITE in `cat $SITESFILE`; do 
    REDIRHEADER=`curl -i $SITE | head -n15 | grep -i 'Location: $TARGETURL'` 
    test -n "$REDIRHEADER" && echo $SITE >> $OUTPUTFILE 
done;

당신은 cURL이 설치되어 있어야합니다.

출처

2012-09-08 09:29:46

주어진 URL이 리디렉션되는지 아니면 스크립트를 사용하지 않는지 찾는 방법은 무엇입니까?

답변

관련 문제