JSoup 404 작업중인 웹 사이트에서 오류가 발생했습니다.

Question

Jsoup를 사용하여 웹 사이트의 HTML을 구문 분석하고 있습니다. 어제까지 잘 작동했습니다. 하지만 이제이 오류가 발생했습니다 :

HTTP error fetching URL. Status=404, URL= http://www.dawn.com/pakistan/punjab

사이트가 브라우저에서 완벽하게 작동합니다. 그러나 Java를 사용하지 마십시오. 내가 사용하는 코드는 다음과 같습니다 :

Document doc = Jsoup.connect(srcLink) 
       .userAgent("Mozilla") 
       .maxBodySize(0) 
       .timeout(20000) 
       .followRedirects(true) 
       .get(); 

나는이 시도, 그러나 다시 실패

String srcLink = source; 
URL url = new URL (srcLink); 
URLConnection urlCon = url.openConnection(); 
InputStream in = new BufferedInputStream(urlCon.getInputStream()); 
Document doc = Jsoup.parse(in, "UTF-8", srcLink); 

저를 도와주세요. 나는 감사 할 것이다.

Answer 1

아마도 프록시가 사용되지 않았을 수 있습니다. 프록시 속성을 설정하고 코드를 호출 해보십시오.

System.setProperty("http.proxyHost", "1.2.3.4");// Your proxy 
System.setProperty("http.proxyPort", "1234"); // Your proxy port 

Document doc = Jsoup.connect(srcLink) 
    .userAgent("Mozilla") 
    .maxBodySize(0) 
    .timeout(20000) 
    .followRedirects(true) 
      .get();