URL을 긁어서 LWP Perl에 사용하십시오.

Question

좋아, 그래서 펄에서 루프를 통해 LWP 요청을하는 법을 알고 있습니다. 하지만 나는 웹 사이트에서 URL을 긁어 자동으로 루프에 방문하는 URL에 넣을 수 있는지 알고 싶습니다. ??

#!usr/bin/perl 

for ($i=0;$i<200;$i++) 
{ 

use strict; 
use LWP::UserAgent; 
use warnings; 
my $ua = new LWP::UserAgent(agent => 'USER AGENT'); 
my $response = $ua->get("http://example.com"); 
print $response->code,' ', $response->message,"\n"; 

sleep 2; 

} 

그래서 지금은 도메인에서 URL을 긁어하고 example.com에 대한 것을 사용하고 또한 긁힌 자국하는 모든 새로운 URL을 방문하고 싶습니다.

Answer 1

나는 웹 사이트에서 URL을 긁어 내고 자동으로 URL을 루프에 넣는 지 알고 싶습니다. ??

이를 대기열이라고하며 push 및 shift을 사용하여 쉽게 구현할 수 있습니다.

my @to_visit = (...initial URLs...); 
while (@to_visit) { 
    my $url = shift(@to_visit); 
    my $content = ...Download the file...; 
    my @extracted = ...Extract the URLs...; 
    push @to_visit, @extracted; 
} 

물론 이미 방문한 URL은 건너 뛰고 싶을 것입니다.

my %seen; 
my @to_visit = grep !$seen{$_}++, (...initial URLs...); 
while (@to_visit) { 
    my $url = shift(@to_visit); 
    my $content = ...Download the file...; 
    my @extracted = ...Extract the URLs...; 
    push @to_visit, grep !$seen{$_}++, @extracted; 
}