한 번에 여러 웹 페이지에 액세스하려면 #

Question

내 프로젝트는 한 번에 여러 웹 페이지를 읽어야합니다 (예 : 특정 키워드 google은 최대 100 페이지 결과를 표시합니다). 'for'루프를 사용하여 100 페이지를 읽으려고했습니다. 그것은 C#에서 http 요청 예외를 보여주고 있습니다. 어떻게 정렬 기간 내에 해당 페이지를 읽을 수 있습니까 ???

Answer 1

이

http://blogs.msdn.com/somasegar/archive/2009/11/18/reactive-extensions-for-net-rx.aspx http://www.minddriven.de/?p=550

정말 좋은하지만 어쩌면 당신은 RX를 사용할 수 없습니다.

Answer 2

병렬로 처리하려면 코드를 ThreadPool에 푸시합니다. 한 번에 100 개의 스레드를 실행하지 않습니다 (하지만 원하지는 않습니다).

Answer 3

내 생각 엔 처분 된 개체에 액세스하려고하거나 처분하지 않으므로 너무 많은 연결이 열려 있습니다.

몇 가지 코드를 추가하여 도움을 받으십시오.

Answer 4

여기 간단한 해결책이 있습니다. 하지만 병렬로 많은 요청을하는 것은 이 매우입니다. 따라서 동시 스레드 수를 줄이기위한 몇 가지 메커니즘을 수행해야합니다.

void QueueWorkItems() 
{ 
    for (int i = 0; i < 10; i++) 
     new Action<string>(Request).BeginInvoke("http://www.google.com/search?q=test&start=" + (i * 10), null, null); 
} 

void Request(string url) 
{ 
    //Process your request 
}