Google의 100 페이지의 로딩 시간을 줄이는

Question

내 프로젝트에 대해 특정 키워드에 대해 한 번에 Google의 전체 페이지 (100)에 액세스해야합니다. 'for'루프를 사용하여 내 C# 코드로 작성된 URL의 페이지에 액세스했습니다. 하지만 액세스하는 데 시간이 더 많이 걸립니다. 어떤 때는 HttpRequest 오류가 표시됩니다. 속도를 늘리는 방법은 무엇입니까?

Answer 1

병렬로 쿼리하십시오. HTTP는 기본적으로 비동기식이므로 요청 코드 여야합니다.

Answer 2

귀하의 경우, 속도는 I/O 요청을 이행하는 데 걸리는 시간으로 제한됩니다. 병렬로 서버에 액세스하여 (즉, ThreadPool을 사용하여) 전체 작업의 속도를 높일 수 있습니다. 브라우저는 일반적으로 서버에 대한 2 ~ 8 개의 병렬 I/O 요청을 사용하므로 사용자가 Google 검색 결과에서 참조하는 이미지 파일이나 CSS 파일이 필요할 경우 유용합니다. 최대 100 대의 서버가 있으므로 대규모로 병렬 처리 할 수 ​​있습니다. Threadpool이 다시 도움이되는 작업.