외부의 모든 링크를 처리합니다 (루비 + 기계화)

Question

전체 웹 사이트에서 외부 링크 인 을 처리하고 싶습니다. 링크가 외부인지 확인하고 건너 뛸 수있는 쉬운 방법이 있습니까?

내 코드는 지금까지

내가 (0.9.3) 및 루비 1.8.6 (2008-08-11 패치 레벨 기계화를 사용하고 (사이트 URL이 명령 행 인수 통과)처럼 보이는

287) [I386-MSWIN32]

더 호스트/도메인이 없도록 웹 사이트가 상대 경로를 사용할 수 있습니다 그리고 그것은 더 복잡

require 'mechanize' 

def process_page(page) 
    puts 
    puts page.title 
    STDIN.gets 
    page.links.each do |link| 
process_page($agent.get(link.href)) 
    end 
end 

$agent = WWW::Mechanize.new 
$agent.user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.1.4) Gecko/20091016 Firefox/3.5.4' 
process_page($agent.get(ARGV[0])) 

Answer 1

URI에는 로컬 URL을보고 있는지 또는 다른 사이트를보고 있는지 쉽게 알 수있는 몇 가지 방법이 있습니다.

이것은 URI의 .route_to() 문서의 예에서 약간의 수정은 다음과 같습니다

 
require 'uri' 

URI.parse('/main.rbx?page=1').host # => nil 
URI.parse('main.rbx?page=1').host # => nil 

내부 URL이 더 호스트 그래서 문제의 URL을 분석하고 그들이 호스트가 있는지보고 싶은데이 없습니다. 그렇지 않은 경우 사이트 내부에 있습니다.

외부 사이트를 가리키는 URL은 호스트에 대한 값을 반환하지만 문제의 사이트에 대한 전체 URL도 표시되므로 더 많은 마사지를해야합니다.

 
uri = URI.parse('http://my.example.com') 

uri.route_to('http://my.example.com/main.rbx?page=1').host # => nil 
uri.route_to('http://another.com/main.rbx?page=1').host # => "another.com" 

호스트가있는 경우 해당 호스트가 시작 URL의 호스트와 일치하는지 확인하십시오. 하위 문자열 검색 또는 정규식 일치를 사용하여 수행 할 수 있지만 둘 다 하위 문자열 일치가 발생할 경우 가양 성을 반환 할 가능성이 있습니다.

그 대신 오탐 (false positive)을 피하기 위해 URI의 방법을 사용합니다. route_to()를 사용하여 URL에 대한 상대 경로를 작성하십시오. 결과에 .host 값이 있으면 외부 값입니다.

Answer 2

를 사용하여 링크의 URI 방법을 비트하게하십시오 :

page.links.each do |link| 
    next unless link.uri.host.match(/(www\.)?thissite\.com/) 
    process_page($agent.get(link.href)) 
    end