ASP.NET MVC 프로젝트의 일부로 웹 스크래핑 크롤러를 구현하려고합니다. Html Agility Pack을 사용하여 서로 다른 URL에서 수집 한 대용량 데이터와 함께 작동합니다. 문제는 실제로 원격 서버에서 "연결이 재설정되었습니다."라는 함수를 실제로 실행하려고 할 때입니다. 나는 그것을 로컬에서 실행할 때 더 나은 결과를 얻고있다. 원격 IIS에 액세스 할 수 있습니다. 이 문제 및/또는 대안을 해결하기위한 제안?ASP.NET 웹 스크래핑의 시간 초과 문제
0
A
답변
1
0
연결 및 네트워크 문제로 인해 이러한 문제가 발생할 수 있습니다. 다른 URL의 긁기를 방지하려면 작업을 별도의 스레드로 병렬 처리 할 수 있습니다.
관련 문제
- 1. asp.net 세션 시간 초과 문제
- 2. ASP.NET SqlConnection 시간 초과 문제
- 3. ASP.NET 웹 서비스 시간 초과
- 4. 웹 서비스 시간 초과 문제
- 5. ASP.NET 시간 초과 디버그
- 6. 요청 시간 초과 문제
- 7. WebClient 시간 초과 문제
- 8. 예상 시간 초과 문제
- 9. ASP.NET 세션 상태 시간 초과 문제
- 10. ASP.NET - 세션 시간 초과
- 11. asp.net 세션 시간 초과
- 12. .NET 웹 서비스 (asmx) 시간 초과 문제
- 13. Silverlight - 시간 초과 문제
- 14. 세션 시간 초과 문제
- 15. WCF 시간 초과 문제
- 16. FormsAuthentication 시간 초과 문제
- 17. ASP.NET 페이지 시간 초과 변경
- 18. MVC의 AJAX 시간 초과 문제
- 19. JAX-WS 시간 초과 문제
- 20. ASP.Net AJAX 시간 초과 요청이 시간 초과 기간보다 오래 완료되었지만
- 21. SMTP 메일 시간 초과 문제
- 22. ASP.NET의 스레드 시간 초과 문제
- 23. asp.net mvc 세션 시간 초과
- 24. 세션 시간 초과 asp.net iis7
- 25. ASP.Net 업데이트 패널 시간 초과
- 26. 회원 시간 초과 및 세션 시간 초과
- 27. SSIS 패키지 시간 초과 문제
- 28. ADO.Net DataReader 시간 초과 문제
- 29. GWT JsonpRequestBuilder 시간 초과 문제
- 30. VB6 - WinHttpRequest 시간 초과 문제
하나의 요청으로 _all_ 개의 URL을 검색하고 있습니까? – Oded
예. URL을 생성하고 URL을 캡처하는 루프가 있습니다. 그러나이 시간 제한으로 URL을 거의 얻을 수 없습니다. –