데이터 스크래핑 처리

Question

새로운 베팅 도구를 만들고 싶지만 확률 및 결과 데이터베이스가 필요하며 웹에서 아무것도 찾을 수 없습니다. 위대한 아카이브가있는이 사이트를 찾았습니다. OddsPortal

위와 같은 페이지에서 결과와 확률을 긁어 내고 싶습니다. 나는 Scrapy라는 도구가 그것을 할 수 있음을 발견했습니다. 사실입니까? 누군가가 어떤 힌트로 나를 도울 수 있습니까?

Answer 1

나는 Scrapy에 대해 잘 모르겠지만, JSoup은 당신이 시작하는 데 도움이됩니다.

http://jsoup.org/

는 .jar 파일을 다운로드합니다. 프로젝트 폴더> 속성> Java 빌드 경로> 라이브러리> 외부 jar 추가를 마우스 오른쪽 버튼으로 클릭하고 jar 파일을 찾아 클릭하십시오.

그것은 여기에 좋은 작은 HTML 파서에게

을의 예입니다.

import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document; 

public class HtmlParser { 

public static void main(String[] args) throws IOException{ 
    String url = "http://stackoverflow.com/questions/16794913/data-scraping-with-scrapy"; 
    Document document = Jsoup.connect(url).get(); 

    String question = document.select(".question .postcell").text(); 

    System.out.println(question); 
} 

이 질문을 인쇄합니다 : P

오른쪽이 웹 페이지를 클릭하고 요소를 검사했다.

다음 원하는 요소를 발견하고이 경우 ".question의 .postcell"의 document.select() 부분에서의 클래스 (또는 ID)의 이름을 넣어. (.parentClass .childClass)

당신이 jsoup 웹 사이트에 가이드가이 도움이

희망이 추가 도움이 필요한 경우!

편집 :

I 보드 그래서 함께 즐길 2003-2004 년 모든 이탈리아 축구 점수를 가져 오는 작은 선물을 던졌다했다 : D - 링크 - http://www.oddsportal.com/soccer/italy/serie-a-2003-2004/results/

public class HtmlParser { 

    String url = "http://www.oddsportal.com/soccer/italy/serie-a-2003-2004/results/"; 
    Document document = Jsoup.connect(url).get(); 

    Elements stats = document.select("#tournamentTable tbody tr"); 

    for(int i = 0; i < stats.size(); i++){ 
     System.out.println(stats.get(i).text()); 
    } 
} 

Output: 

Soccer» Italy»Serie A 2003/2004 

1 X 2 B's 


AC Milan - Brescia 4:2 - - - 6 

Chievo - Bologna 2:1 - - - 5 

Empoli - Inter 2:3 - - - 5 

Parma - Udinese 4:3 - - - 5 

Lazio - Modena 2:1 - - - 4 

Lecce - Reggina 2:1 - - - 5 

Perugia - Ancona 1:0 - - - 1 

Sampdoria - AS Roma 0:0 - - - 4 

Siena - Juventus 1:3 - - - 5 

1 X 2 B's 



Ancona - Empoli 2:1 - - - 1 

AS Roma - Perugia 1:3 - - - 3 

Bologna - Lecce 1:1 - - - 7 

Brescia - Lazio 2:1 - - - 1 

Inter - Parma 1:0 - - - 7 

Juventus - Sampdoria 2:0 - - - 7 

Modena - Siena 1:3 - - - 7 

Reggina - AC Milan 2:1 - - - 1 

Udinese - Chievo 1:1 - - - 3 

1 X 2 B's 



AC Milan - AS Roma 1:0 - - - 6 

Parma - Ancona 3:1 - - - 3 

Lazio - Reggina 1:1 - - - 6 

Lecce - Inter 2:1 - - - 6 

Perugia - Juventus 1:0 - - - 4 

Sampdoria - Udinese 1:3 - - - 5 

Siena - Brescia 0:1 - - - 3 

1 X 2 B's 



Ancona - Chievo 0:2 - - - 3 

AS Roma - Empoli 3:0 - - - 6 

Inter - Lazio 0:0 - - - 6 

Juventus - Lecce 3:4 - - - 6 

Modena - Sampdoria 1:0 - - - 5 

Reggina - Parma 1:1 - - - 5 

Udinese - AC Milan 0:0 - - - 6 

1 X 2 B's 



Lazio - AS Roma 1:1 - - - 7 

1 X 2 B's 



Modena - AS Roma 0:1 - - - 6 

Chievo - Reggina 0:0 - - - 4 

Empoli - Brescia 1:1 - - - 5 

Parma - Juventus 2:2 - - - 6 

Inter - Bologna 4:2 - - - 6 

Lazio - Ancona 4:2 - - - 5 

Sampdoria - Perugia 3:2 - - - 6 

1 X 2 B's 



Lecce - Udinese 2:1 - - - 6 

Siena - AC Milan 1:2 - - - 5 

1 X 2 B's 



Perugia - Inter 2:3 - - - 7 

1 X 2 B's 



Juventus - Lazio 1:0 - - - 7 

AC Milan - Empoli 1:0 - - - 7 

Ancona - Bologna 3:2 - - - 7 

AS Roma - Chievo 3:1 - - - 7 

Brescia - Modena 0:0 - - - 7 

Reggina - Udinese 0:1 - - - 7 



Siena - Sampdoria 0:0 - - - 7 

너무 멋진을 !