각 루프마다 1 개의 X 스레드를 할당하십시오.

Question

웹 페이지에서 콘텐츠를 스크랩하는 앱을 만들었습니다. 스크래핑 메서드가 다른 스레드에서 실행 중입니다. 1,000 초 동안 1000 개의 웹 페이지에서 콘텐츠를 긁을 수 있다고 가정 해 봅시다.

나는 약간의 테스트를 수행했습니다. 내 응용 프로그램을 5 번 실행하고 각 응용 프로그램에 다른 1000 개의 URL을 입력하십시오. 이제 150 초 내에 5000 개의 URL에서 콘텐츠를 스크랩했습니다.

좋아,하지만 매번 5 개 앱을 실행하고 싶지는 않습니다. 루프를 (link을 links 개체에서 얻는 데 사용됩니다) 빠르게하고 싶습니다.

각 링크에 대해 실제로 새 스레드를 사용하지 않습니다. out of memory exception을 제공합니다. 나는 Parallel 루프가 똑같을 것이라고 생각한다.

저는 foreach 루프가 더 빨리 5 ~ 10 회 실행되도록 만들고 싶습니다. 내 코드는 다음과 같습니다.

foreach (Link link in links) 
    scrapeContent(link.url); 

어떻게하면 더 빨리 실행할 수 있습니까? 스레드를 할당하는 것이 최선의 선택일까요?

Answer 1

스레드 만들기는 시간과 리소스 (메모리)가 필요하기 때문에 항상 새 스레드를 시작할 수는 없습니다.

대신 스레드 풀을 사용할 수 있습니다. 스레드 풀은 스레드 다이를 댄다 그 threads.Instead을 다시 만들어집니다, 당신은 요청이 들어올 때마다 재사용 할 수있는 풀로 다시 보내

는 다음과 같이 스레드를 사용합니다.

ThreadPool.QueueUserWorkItem((s) =>{ 

//Your method here. 
Console.WriteLine(“Working on a thread from threadpool”); 

});