2011-01-09 2 views
0

ASP.NET MVC 프로젝트의 일부로 웹 스크래핑 크롤러를 구현하려고합니다. Html Agility Pack을 사용하여 서로 다른 URL에서 수집 한 대용량 데이터와 함께 작동합니다. 문제는 실제로 원격 서버에서 "연결이 재설정되었습니다."라는 함수를 실제로 실행하려고 할 때입니다. 나는 그것을 로컬에서 실행할 때 더 나은 결과를 얻고있다. 원격 IIS에 액세스 할 수 있습니다. 이 문제 및/또는 대안을 해결하기위한 제안?ASP.NET 웹 스크래핑의 시간 초과 문제

+0

하나의 요청으로 _all_ 개의 URL을 검색하고 있습니까? – Oded

+0

예. URL을 생성하고 URL을 캡처하는 루프가 있습니다. 그러나이 시간 제한으로 URL을 거의 얻을 수 없습니다. –

답변

1

ASP.NET에서 장기 실행 프로세스가있는 경우 다른 스레드에서 실행되도록하는 것이 가장 좋습니다.

thisthis 관련 질문 및 this MSDN 기사를 참조하십시오.

0

연결 및 네트워크 문제로 인해 이러한 문제가 발생할 수 있습니다. 다른 URL의 긁기를 방지하려면 작업을 별도의 스레드로 병렬 처리 할 수 ​​있습니다.