동시 System.Threading.Tasks.Task의 수를 제한하십시오.

Question

데이터베이스에 광범위한 데이터 삽입을 수행해야합니다. 동시 작업 수를 제한하는 스로틀 링 된 스케줄러로 코드를 멀티 스레드 방식으로 구현할 수 있습니다. 모든 M 행에 블록이 형성되어 원자 조작으로 데이터베이스에 삽입됩니다. 데이터베이스가 데이터 파일을 읽고 구문 분석하는 것보다 속도가 느리기 때문에 여러 동시 작업이 발생합니다. 필자는 종종 멀티 스레딩을 사용하여이 모델을 구현합니다.

내가/await를 비동기 사용하여 내 코드를 구현하기로 대신하는 경우

I 동시에 이하 N 동시 작업가 (즉, 데이터베이스로 이동)을 실행하는지 확인하는 방법을 (엔티티 프레임 워크는 비동기 프로그래밍 지원)?

필자의 초기 디자인에서는 원자 적으로 삽입 될 데이터 블록을 읽는 즉시 List<Task>을 인스턴스화하고 새로운 작업을 추가 한 다음 await 모든 작업을 완료 한 후 내 메서드를 반환하도록했습니다. 디자인 타임 문제는 큰 데이터 파일에 대해 완료하는 것보다 빠르게 작업을 수행하기 때문에 동시에 발생하는 숫자가 Task (및 메모리 풋 프린트)이 폭발한다는 것입니다.

SemaphoreSlim을 사용하려고 생각했지만 비동기 프로그래밍 (멀티 스레드와 달리)에 대한 경험이 거의 없습니다. 그래서이 질문에 모범 사례에 대한 피드백을 얻으려고합니다.

Answer 1

디자인 타임 문제는 (따라서 메모리 풋 프린트) 동시 작업의 수는 작업 때문에 폭발 할 예정이다 큰 데이터 파일에 대해 완료하는 것보다 빠르게 공급됩니다. 대신 내를 구현하기로 결정하는 경우

... 그러나

private readonly SemaphoreSlim _semaphore = new SemaphoreSlim(10); 

async Task ThrottledWorkAsync() 
{ 
    await _semaphore.WaitAsync(); 
    try 
    { 
    await WorkAsync(); 
    } 
    finally 
    { 
    _semaphore.Release(); 
    } 
} 

: 나는 SemaphoreSlim 적절한 동시 비동기 작업을 조절하기위한 선택을하는 SemaphoreSlim

예를 사용하는 방법에 대한 생각 await/async (Entity Framework가 비동기 프로그래밍을 지원함)를 사용하여 코드를 작성하면 동시에 N 개 이상의 동시 작업 (예 : 데이터베이스로 이동)이 실행되지 않도록 할 수 있습니까?

주의해야 할 점은 Entity Framework는 비동기 API를 지원하지만 요청 당 하나의 연결이 필요하다는 것입니다. 따라서 동일한 DbContext으로 여러 개의 동시 비동기 요청을 가질 수는 없습니다. 각각의 동시 요청 (또는 동시 요청에 의해 "차용"된 N 개 이상의 연결)에 대해 별도의 연결을 만들어야합니다.

Answer 2

나는 나의 스레드를 실행하기 위해이 코드 조각을 사용 How to limit the amount of concurrent async I/O operations?

그것의 모양은 호출 :

public static async Task WhenAll(this List<Func<Task>> actions, int threadCount) 
{ 
    var _countdownEvent = new CountdownEvent(actions.Count); 
    var _throttler = new SemaphoreSlim(threadCount); 

    foreach (Func<Task> action in actions) 
    { 
     await _throttler.WaitAsync(); 

     Task.Run(async() => 
     { 
      try 
      { 
       await action(); 
      } 
      finally 
      { 
       _throttler.Release(); 
       _countdownEvent.Signal(); 
      } 
     }); 
    } 

    _countdownEvent.Wait(); 
} 

이 코드는이 스레드에서 제공하는 코드 기반으로합니다. 이 모든 작업을 수행하지만, 40 동시 (이 경우) :

var tasks = new List<Func<Task>>(); 
tasks.Add(() => saveAsync()); 
//add more 
await tasks.WhenAll(40); 

Answer 3

당신이 경우 적어도 n 값 (n 동시 작업의 최대 크기 인) 처음에 삽입하려면 다음과 같은 접근 방식을 취할 수

1. 호출 InsertAsync()n 시간을 다른 값으로.
2. 각 작업이 완료되면 InsertAsync() (반복 2)으로 새 전화를 계속하십시오.

그런 식으로 세마포어를 사용하여 동시성 수준을 제어 할 필요가 없으며 비 블로킹이됩니다.

이 시나리오에 유용 할 수 있습니다, 그것은이 방법 Times() 및 Map() 노출 I've just published a package : 예를 들어 https://github.com/jorgebay/concurrent-utils

:

이

// Execute MyMethodAsync() 1,000,000 times limiting the maximum amount 
// of parallel async operations to 512 
await ConcurrentUtils.Times(1000000, 512, (index) => MyMethodAsync(index));