HtmlUnit을 사용하여 소스 코드를 긁는 방법

Question

웹 사이트에서 소스 코드를 긁어 반환하는 프로그램을 htmlunit에 작성하려고합니다. 내 코드는 현재 :

getPage 메소드가 소스를 반환한다고 생각했지만 계속 오류가 발생하여 URL이 반환됩니다. 이 오류는 다음과 같습니다.

Oct 16, 2013 4:07:59 PM com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 
WARNING: Obsolete content type encountered: 'application/x-javascript'. 
Oct 16, 2013 4:08:00 PM com.gargoylesoftware.htmlunit.javascript.StrictErrorReporter runtimeError 
SEVERE: runtimeError: message=[The data necessary to complete this operation is not yet available.] sourceName=[http://cpdocket.cp.cuyahogacounty.us/SheriffSearch/Scripts/jquery.js] line=[2] lineSource=[null] lineOffset=[0] 
Oct 16, 2013 4:08:00 PM com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 
WARNING: Obsolete content type encountered: 'application/x-javascript'. 
Oct 16, 2013 4:08:00 PM com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 
WARNING: Obsolete content type encountered: 'application/x-javascript'. 
Oct 16, 2013 4:08:00 PM com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 
WARNING: Obsolete content type encountered: 'application/x-javascript'. 
Oct 16, 2013 4:08:01 PM com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 
WARNING: Obsolete content type encountered: 'application/x-javascript'. 
Oct 16, 2013 4:08:01 PM com.gargoylesoftware.htmlunit.javascript.StrictErrorReporter runtimeError 
SEVERE: runtimeError: message=[The data necessary to complete this operation is not yet available.] sourceName=[http://cpdocket.cp.cuyahogacounty.us/SheriffSearch/ScriptResource.axd?d=0XCJGMnW_16F7h4EC7avEaQ_Ma7RLZvTA2-XkhkFcfSnWFOkCRjbat77Yi12o3uS3yGC-YMdXQ_w3i5MHWALH-xBqxutgCryrSWcT8prtHkRngrJRiKTP-EYEm1QJ6zB0&t=ffffffff823b7694] line=[2] lineSource=[null] lineOffset=[0] 
Oct 16, 2013 4:08:01 PM com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 
WARNING: Obsolete content type encountered: 'application/x-javascript'. 
HtmlPage(http://cpdocket.cp.cuyahogacounty.us/SheriffSearch/results.aspx?q=searchType%3dSaleDate%26searchString%3d10%2f21%2f2013%26foreclosureType%3d%27NONT%27%2c+%27PAR%27%2c+%27COMM%27%2c+%27TXLN%27)@1134201154 

소스를 반환하는 올바른 방법을 사용하지 않았습니다. 어떻게 수행 할 좋은 방법을 찾을 수 없습니까?

Answer 1

당신은 수행하여 페이지의 콘텐츠를 볼 수 :

이

System.out.println(page.asXml()); 

멋지게 형식의 방법으로 그것을 인쇄 할 것이다.

당신이보고있는 다른 모든 것들은 가져 오는 페이지의 자바 스크립트 오류입니다.

• How to get the pure raw HTML of a page in HTMLUnit while ignoring JavaScript and CSS?

확인하는 경고를 해제하는이 답변 :

• Turning HtmlUnit Warnings off

  당신은이 답변을 확인 후 포맷하지 않고 페이지에서 소스 코드가 필요한 경우

Answer 2

다음 코드를 사용해보십시오. 괜찮습니다.

public class Htmlunitscraper { 
    private static String s = "website"; 
    public static HtmlPage scrapeWebsite() throws IOException { 
     final WebClient webClient = new WebClient(); 
     final HtmlPage page = webClient.getPage(s); 
     return page.asXml(); 
    } 
}