다중 스레드 세트 차이에 대한 효율적인 접근

Question

각 작업을 소비하는 한정된 소비자 스레드 세트가 있습니다. 일단 작업을 처리하면 소모 된 작업에 나열된 하위 작업 목록이 있습니다. 데이터베이스에 아직없는 목록에서 하위 작업을 추가해야합니다. 데이터베이스에 3 백만 개가 있으므로 데이터베이스에없는 목록을 얻는 것이 느립니다. 나는 각 스레드가 해당 호출을 차단하는 것을 신경 쓰지 않지만, 경쟁 조건 (코드 참조)이 있기 때문에 느린 호출에서 모든 코드를 잠궈 야하므로 한 번에 하나씩 만 호출 할 수 있고 프로그램은 크롤링 할 수 있습니다. 이 문제를 해결하기 위해 스레드가 통화를 늦추지 않도록하려면 어떻게해야합니까? 대기열을 시도했지만 컴퓨터가 데이터베이스에 추가해야하는 작업보다 스레드가 작업 목록을 빨리 밀어 내고 있기 때문에 계속 커지고 빈 상태가되지 않는 대기열로 끝납니다.

내 코드 :

IEnumerable<string> getUniqueJobNames(IEnumerable<job> subJobs, int setID) 
{ 
    return subJobs.Select(el => el.name) 
     .Except(db.jobs.Where(el => el.set_ID==setID).Select(el => el.name)); 
} 

//...consumer thread i 
lock(lockObj) 
{ 
    var uniqueJobNames = getUniqueJobNames(consumedJob.subJobs, consumerSetID); 
    //if there was a context switch here to some thread i+1 
    // and that thread found uniqueJobs that also were found in thread i 
    // then there will be multiple copies of the same job added in the database. 
    // So I put this section in a lock to prevent that. 
    saveJobsToDatabase(uniqueJobName, consumerSetID); 
} 
//continue consumer thread i... 

Answer 1

보다는 작업 이름의 고유성을 확인하기 위해 데이터베이스에 다시 가고 그럴 수는 훨씬 더 빨리 존재를 확인할 수 있습니다 메모리에 조회 데이터 구조에 관련 정보 :

Dictionary<int, HashSet<string>> jobLookup = db.jobs.GroupBy(i => i.set_ID) 
    .ToDictionary(i => i.Key, i => new HashSet<string>(i.Select(i => i.Name))); 

이것은 한 번뿐입니다. 당신은 또한 새 하위 작업을 입력 조회에 추가해야하는 경우

IEnumerable<string> getUniqueJobNames(IEnumerable<job> subJobs, int setID) 
{ 
    var existingJobs = jobLookup.ContainsKey(setID) ? jobLookup[setID] : new HashSet<string>(); 

    return subJobs.Select(el => el.Name) 
     .Except(existingJobs); 
} 

: 이후 고유성을 확인해야 할 때마다 당신은 조회를 사용 그것이 나에게 분명하지 않다

lock(lockObj) 
{ 
    var uniqueJobNames = getUniqueJobNames(consumedJob.subJobs, consumerSetID); 
    //if there was a context switch here to some thread i+1 
    // and that thread found uniqueJobs that also were found in thread i 
    // then there will be multiple copies of the same job added in the database. 
    // So I put this section in a lock to prevent that. 
    saveJobsToDatabase(uniqueJobName, consumerSetID); 

    if(!jobLookup.ContainsKey(newconsumerSetID)) 
    { 
     jobLookup.Add(newconsumerSetID, new HashSet<string>(uniqueJobNames)); 
    } 
    else 
    { 
     jobLookup[newconsumerSetID] = new HashSet<string>(jobLookup[newconsumerSetID].Concat(uniqueJobNames))); 
    } 
}