C# asp + javascript 웹 사이트에서 데이터를 추출하는 방법

Question

사이트에서 일부 데이터를 추출하는 C# 프로그램을 만들고 싶습니다. 이 사이트는 마권입니다 : bet365.com/home/ 그리고 난 얻을 필요가 : 특정 시장 + 확률의

1. 이름 (예 : 축구 - 바 클레이 프리미어 리그 - 풀럼 V 스토크 - 2.75 | 3.20 | 2.62)
2. 다른 시장 + 확률 (예 : 경마 - 링 필드 - 12:30 - 3.2 | 4.3 | 5.2 | 6.7 | 8.62 | ..)
3. 다른 형식의 확률 (소수, 소수, 미국)이 있습니다. 십진수를 선택하는 것

그러나이 사이트를 텍스트 파일로 열면 모든 데이터가 없어 - 그냥 HTML 구문 분석기로 구문 분석하십시오. 조언이 필요합니다. 이런 종류의 웹 페이지에서 데이터를 추출하는 가장 좋은 방법은 무엇입니까?

Answer 1

당신이하려는 것은 Scraping (또는 웹 스크래핑)입니다.

다양한 방법에 대해 알아 보려면 약간의 독서를해야합니다. 확실히 그것을 할 수있는 간단한 방법은 없습니다.

나는 도박 사이트가 당신을 막을 수있는 조치를 취하고 있다고 추측한다.

Answer 2

데이터가 AJAX를 통해로드 될 가능성이 큽니다. 즉,로드중인 HTML 페이지는 대부분 정적 컨텐츠를 포함합니다. HTML이 표시되면 데이터가 다른 URL에서로드됩니다. Firebug를 사용하여로드되는 데이터를 분석 할 수 있습니다.

일단 URL이 준비되면 해당 URL에 대해 이후에 긁어 낼 수 있습니다. 스크래핑은 일반적으로 원시 텍스트를 가져오고 정규 표현식을 사용합니다.