웹 - 스크랩 asp.net 웹 사이트 r

Question

웹 브라우저의 소스 코드에서 볼 수 있듯이 html을 웹에서 긁어 내고 싶습니다.이 URL은 "https : //portal.tirol.gv"입니다./wisPvpSrv/wisSrv/wis/wbo_wis_auszug.aspx? ATTR = Y & TREE = N & ANL_ID = T20889658R3 & TYPE = 0 "

내가

library(RCurl) 
library(XML) 
myurl = "https://portal.tirol.gv.at/wisPvpSrv/wisSrv/wis/wbo_wis_auszug.aspx?ATTR=Y&TREE=N&ANL_ID=T20889658R3&TYPE=0" 
x = getURL(myurl, followlocation = TRUE, ssl.verifypeer = FALSE) 
htmlParse(x, asText = TRUE) 

내가 브라우저의 소스 코드에서 무엇을보고하지 ..is ..로 무엇을 얻을 - 방법이 문제를 회피 ??

Answer 1

나중에 가서 :

library(RCurl) 
library(XML) 

cookie = 'cookiefile.txt' 
curl = getCurlHandle (cookiefile = cookie , 
    useragent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en - US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6", 
    header = FALSE, 
    verbose = TRUE, 
    netrc = TRUE, 
    maxredirs = as.integer(20), 
    followlocation = TRUE, 
    # userpwd = "bob:duncantl", ## enter here your username:password 
    ssl.verifypeer = TRUE) 

myurl = "https://portal.tirol.gv.at/wisSrvPublic/wis/wbo_wis_auszug.aspx?ANL_ID=T20889658R3&TYPE=O" 

x = getURL(myurl, curl = curl, cainfo = "path to R/library/RCurl/CurlSSL/ca-bundle.crt") 

x2 <- gsub('\r','', gsub('\t','', gsub('\n','', x))) # remove white spaces 

htmlParse(x2, asText = TRUE) 

는 SSL 검증을 통과 할 수없는 경우이 게시물을 살펴 가지고 : 당신이 사이트에 액세스하는 사용자와 암호가 필요 같은 using Rcurl with HTTPs

Answer 2

웹 사이트에서 콘텐츠를 생성하는 데 많은 자바 스크립트를 사용한다면 처음에는 꽤 어려워합니다.

Firefox를 사용하여 개발자 툴바를 얻으면 자바 스크립트를 사용하지 않고 사이트의 모습과 스크래핑 할 수있는 콘텐츠를 볼 수 있습니다. 사이트에 사용 가능한 비 자바 스크립트 버전이 있기를 바랄 수 있습니다 (JS는 멋진 자료에만 사용되는 '우아한 퇴화'라고합니다).

그렇지 않으면 Firebug 또는 다른 JS 디버거를 사용하여 AJAX를 사용하는 경우 사이트에서 콘텐츠를 가져 오는 방법을 확인하십시오. 그런 다음 R에서 해당 호출을 복제하고 응답에서 다.니다.

내가이 URL로 이동하면 Benutzername 및 Passwort 프롬프트가 표시되고 Benutzername이 없기 때문에이 중 하나를 테스트 할 수 있습니다. 콘텐츠가 인증 뒤에 있다면 RCurl 프로세스에서도 내용을 처리해야합니다. 이는 쿠키 등을 망칠 수도 있습니다.

행운을 빈다. 여기