여러 WebRequest 관리에서 더 나은 접근 방식

Question

각각 별도의 스레드에서 여러 웹 요청을 처리하는 구성 요소가 있습니다. 각 WebRequest 처리는 동기식입니다.

public class WebRequestProcessor:System.ComponentModel.Component 
{ 
    List<Worker> tlist = new List<Worker>(); 
    public void Start() 
    { 
     foreach(string url in urlList){ 
      // Create the thread object. This does not start the thread. 
      Worker workerObject = new Worker(); 
      Thread workerThread = new Thread(workerObject.DoWork); 

      // Start the worker thread. 
      workerThread.Start(url); 
      tlist.Add(workerThread); 
     } 
    } 
} 

public class Worker 
{ 
    // This method will be called when the thread is started. 
    public void DoWork(string url) 
    { 
     // prepare the web page we will be asking for 
     HttpWebRequest request = (HttpWebRequest) 
      WebRequest.Create(url); 

     // execute the request 
     HttpWebResponse response = (HttpWebResponse) 
      request.GetResponse(); 

     // we will read data via the response stream 
     Stream resStream = response.GetResponseStream(); 

     // process stream 
    } 
} 

이제 모든 요청을 취소하는 최적의 방법을 찾아야합니다.

한 가지 방법은 각 동기 WebRequest를 비동기로 변환하고 WebRequest.Abort를 사용하여 처리를 취소하는 것입니다.

또 다른 방법은 스레드 포인터를 해제하고 모든 스레드가 GC를 사용하여 죽는 것을 허용하는 것입니다.

Answer 1

1000 개의 파일을 다운로드하려면 1000 개의 스레드를 동시에 시작하는 것이 가장 좋은 방법은 아닙니다. 한 번에 파일 몇 개를 다운로드하는 것과 비교할 때 속도 향상을 얻지 못할뿐만 아니라 최소 1GB의 가상 메모리가 필요합니다. 쓰래드를 생성하는 것은 비용이 많이 들기 때문에 루프를 피하는 것이 좋습니다.

대신 수행해야 할 작업은 비동기 버전의 요청 및 응답 작업과 함께 Parallel.ForEach()을 사용하는 것입니다. 이 (WPF 코드)와 같은 예를 들어 사용자가 작업을 취소 할 때

private void Start_Click(object sender, RoutedEventArgs e) 
{ 
    m_tokenSource = new CancellationTokenSource(); 
    var urls = …; 
    Task.Factory.StartNew(() => Start(urls, m_tokenSource.Token), m_tokenSource.Token); 
} 

private void Cancel_Click(object sender, RoutedEventArgs e) 
{ 
    m_tokenSource.Cancel(); 
} 

void Start(IEnumerable<string> urlList, CancellationToken token) 
{ 
    Parallel.ForEach(urlList, new ParallelOptions { CancellationToken = token }, 
        url => DownloadOne(url, token)); 

} 

void DownloadOne(string url, CancellationToken token) 
{ 
    ReportStart(url); 

    try 
    { 
     var request = WebRequest.Create(url); 

     var asyncResult = request.BeginGetResponse(null, null); 

     WaitHandle.WaitAny(new[] { asyncResult.AsyncWaitHandle, token.WaitHandle }); 

     if (token.IsCancellationRequested) 
     { 
      request.Abort(); 
      return; 
     } 

     var response = request.EndGetResponse(asyncResult); 

     using (var stream = response.GetResponseStream()) 
     { 
      byte[] bytes = new byte[4096]; 

      while (true) 
      { 
       asyncResult = stream.BeginRead(bytes, 0, bytes.Length, null, null); 

       WaitHandle.WaitAny(new[] { asyncResult.AsyncWaitHandle, 
              token.WaitHandle }); 

       if (token.IsCancellationRequested) 
        break; 

       var read = stream.EndRead(asyncResult); 

       if (read == 0) 
        break; 

       // do something with the downloaded bytes 
      } 
     } 

     response.Close(); 
    } 
    finally 
    { 
     ReportFinish(url); 
    } 
} 

이런 식으로, 모든 다운로드를 취소하고 새로운 사람이 시작되지 않습니다. 또한 한 번에 너무 많은 다운로드를 수행하지 않도록 MaxDegreeOfParallelism을 ParallelOptions으로 설정하려고합니다.

다운로드하는 파일로 무엇을하고 싶은지 잘 모르겠습니다. 따라서 StreamReader을 사용하는 것이 더 나은 옵션 일 수 있습니다.

Answer 2

가장 좋은 해결책은 "병렬 Foreach 취소"입니다. 다음 코드를 확인하십시오.

1. 는 취소를 구현하려면 먼저 CancellationTokenSource을하고 option 통해 Parallel.ForEach에 전달합니다.
2. 취소하려는 경우 CancellationTokenSource.Cancel()
3. 취소 후 OperationCanceledException이 발생하여 처리해야합니다.

Task Parallel Library By Sacha Barber on CodeProject 내 대답에 관련된 Parallel Programming에 대한 좋은 기사가있다.

---

CancellationTokenSource tokenSource = new CancellationTokenSource(); ParallelOptions options = new ParallelOptions() { CancellationToken = tokenSource.Token }; List<string> urlList = null; //parallel foreach cancellation try { ParallelLoopResult result = Parallel.ForEach(urlList, options, (url) => { // Create the thread object. This does not start the thread. Worker workerObject = new Worker(); workerObject.DoWork(url); }); } catch (OperationCanceledException ex) { Console.WriteLine("Operation Cancelled"); } 

업데이트]

다음 코드는 "병렬의 Foreach 취소 샘플 코드"입니다.

class Program 
{ 
    static void Main(string[] args) 
    { 
     List<int> data = ParallelEnumerable.Range(1, 10000).ToList(); 

     CancellationTokenSource tokenSource = new CancellationTokenSource(); 

     Task cancelTask = Task.Factory.StartNew(() => 
      { 
       Thread.Sleep(1000); 
       tokenSource.Cancel(); 
      }); 


     ParallelOptions options = new ParallelOptions() 
     { 
      CancellationToken = tokenSource.Token 
     }; 


     //parallel foreach cancellation 
     try 
     { 
      Parallel.ForEach(data,options, (x, state) => 
      { 
       Console.WriteLine(x); 
       Thread.Sleep(100); 
      }); 
     } 
     catch (OperationCanceledException ex) 
     { 
      Console.WriteLine("Operation Cancelled"); 
     } 


     Console.ReadLine(); 
    } 
} 

Answer 3

또 다른 방법은 "모든 스레드가 GC를 사용하여 죽을 수 있도록"스레드 중단을 사용 Implement C# Generic Timeout을 확인하고 Mark Gravel