데이터베이스 또는 서비스에 대한 일괄 원격 호출을 수행하는 방법은 무엇입니까?

Question

여러분 중 일부는이 안내서에 대한 조언을 드릴 수 있기를 바랍니다.

저는 웹 서비스 나 데이터베이스와 같은 원격 리소스를 호출해야하는 코드를 생성합니다.

(50) 어린이를위한 코드

class Parent{  
    IEnumerable<Child> Children; 

    int SumChildren() { 
     // note the AsParallel 
     return Children.AsParallel().Sum(c => c.RemoteCall()); 
    } 
} 

class Child {   
    public int RemoteCall() { 
     // call some webservice. I'd like to pool these calls 
     // without having to rewrite the rest of this code 
    } 
} 

이 조각을 고려, 오버 헤드 50 회 복용, 서비스에 50 개 통화를 할거야. 제 실제 생활의 예에서 이것은 쉽게 모든 일을 크롤링으로 가져 오는 백만 번 전화 일 수 있습니다.

나는 무엇을하고 싶습니다 전화 호출 스레드/작업에 대한 투명 어떤 방식으로 이러한 호출을 일괄 처리하고 싶습니다. 따라서 서비스를 직접 호출하는 대신이 호출을 일괄 처리하는 중앙 대기열 ('기차역')을 호출합니다.

이렇게하면 호출하는 작업이 차단됩니다. 그런 다음 대기열은 X 호출이 누적 될 때까지 대기 한 다음 요청 목록이있는 원격 서비스를 1 번 호출합니다.

결과가 오면이 큐는 반환 값을 올바른 작업으로 반환하고 해당 작업의 차단을 해제합니다. 호출 스레드의 경우이 모든 내용은 숨겨져 있으며 다른 함수 호출처럼 보입니다.

이 작업을 수행 할 수 있습니까? TPL에 이것을 할 수있게 해주는 기본 요소가 있습니까?

다른 것들이 완료되기를 기다리는 동시에 많은 일들이 진행되는 CCR과 같은 냄새가납니다.

물론이 코드를 다시 작성하여 부모 클래스에 대한 요청 목록을 만든 다음 서비스를 호출 할 수 있습니다. 문제는 실제 문제가 발생하면이 코드가 모두 생성된다는 것입니다. 그래서 Child.RemoteCall의 구현을 '내부에서 살펴 봐야'할 것입니다.이 모든 것을 훨씬 더 복잡하게 만듭니다. 또한 자식은 원격 객체에 대한 프록시 일 수 있습니다. 실행 가능하다면 매우 어려울 것입니다.이 복잡성을 분리하려고합니다.

호프는 누군가에게 의미가 있기를 바랍니다. 내가 정교하게 알려주지 않으면.

Answer 1

이렇게하면 호출하는 작업이 차단됩니다. X는 큐가 X 호출을 수신하는 경우

를 축적 호출을 위해 다음 큐는 대기 (X < X) 만 원하는 하나의 작업이있는 경우 다른 작업이 전체> = X를 밀어 때까지 호출 작업이 차단됩니다 N * x 전화를 걸면 막히게됩니다.

응용 프로그램에 일반적으로 많은 작업이 실행되는 경우 비정상적으로 부하가 낮거나 클린 종료되는 경우에만이 문제가 간헐적으로 나타날 수 있습니다.

시간 제한을 추가하여이 문제를 해결할 수 있습니다. 따라서 제한 시간 내에 요청이 추가되지 않았거나 첫 번째 요청이 제한 시간보다 오래 대기 중이면 대기열에서 일괄 처리 된 요청을 보내 게됩니다.

물론이 코드를 다시 작성하여 부모 클래스에 대한 요청 목록을 만든 다음 서비스를 호출 할 수 있습니다.

아마도이 접근 방식을 통해 올바른 방향으로 가고있을 것입니다.생성 된 메소드 구현을 위임, 상속, 람다 메소드 또는 생성기 강화를 통해 직접 코딩 된 구현으로 대체하는 방법을 찾을 수 있습니까? 이 모든 코드가 생성됩니다 내 진짜 문제

---

....

코드의 어느 부분이 생성되고 (수정하기가 어렵습니까?) 코드의 어느 부분이이 문제를 해결할 수 있습니까?

1. Child.RemoteCall()
2. Parent.SumChildren()
3. 상기의 어느.

위의 경우가 아니라면 문제를 해결하기 위해 무언가를 수정할 수 있어야합니다. 부모 및 자식 인스턴스가 AbstractFactory에 의해 작성 되었습니까? 그렇다면, 비헤이비어의 비 기능적 측면을 수정하는 데 사용할 수있는 프록시를 하위 인스턴스에 삽입 할 수 있습니다.

Answer 2

(답안 상자를 사용)

감사합니다.

"This would ... ...": 저장소에서 생성 된 코드를 처리합니다. 이 문제의 수작업으로 작성된 예제를 다룰 때 개발자는이를 발견하고 개선 할 수 있습니다. 코드 생성으로 일반적인 경우와 문제의 예제 세트를 추출하는 것은 꽤 어렵습니다. 이것은 꽤 복잡해지기 때문에 나의 전략은 벗어나서 정복 할 수 있습니다. 내가 문 밖으로 나가는 아이의 기능을 들여다 봐야한다면.

"내가이 링크를 찾았습니다 ...": 나는 Futures를 보았습니다.하지만 그것은 유휴 스레드가있을 때 병렬화 될 수있는 포크 메커니즘에 가깝습니다.

TPL은 작은 비트로 작업을 분할하는 것처럼 보입니다. 내가하고 싶은 일은이 비트들 중 일부를 다른 컴포지션에 넣은 다음 다시 병렬로 다시 분할하는 것입니다. (내 생각에, 아직도이 하나를 정신적으로 씹고있는 것 같아요 ...)

"하나 더 생각": 다시 말하자면, 편파와 정복 전략은 제가 이것을 멀리 할 수있게 해주는 것입니다. 그래서 나는 더 큰 문제를 작은 비트들로 나누고 그것을 풀어서 비트들을 다시 함께 넣습니다. 각 개미가 간단한 규칙 (또는 kanban, 비슷한 원리)을 따르는 개미 식민지를 생각해 봅니다. 중앙 관리 작업 (쿼리 최적화 프로그램)이 매우 복잡해지기 때문에 신속하게 속도가 느려지는 것과는 대조적입니다.

부모가 병렬화 가능한 방식으로 50 명의 자식을 호출 할 수있는 경우 이러한 별도의 작업은 훌륭한 원격 리소스를 가리키고 있기 때문에 함께 일괄 처리 될 수 있습니다.

주요 장애물은 호출하는 작업 (또는 스레드 또는 실행 단위) 블록을 차단하고 다른 일괄 처리 작업을 배치에 배치하고, 응답을 콜렉션에 넣는 방법입니다 모든 작업이 자신의 일을하고 다시 깨운다. (그리고 나서 효율적인 방식으로 ..).

나는 George Crysanthakopoulos (CCR을 만든 사람)가 수확량 계산서가 그가 그런 것에 익숙했던 것을 기억한다고 생각합니다. 나는 Channel9에서 그 인터뷰를 다시 찾으려고 노력할 것이다.

감사 GJ

Answer 3

당신은 대규모 병렬 프로그래밍의 표면에 긁힘된다. 당신은 concurrency oriented way에서 생각할 필요가 있습니다. 51 개의 일자리를 창출하고 있으며, 배치해야하는 50 개의 일자리가 아닙니다. 추가 작업은 50 개의 작업을 관리하는 작업입니다. 필요한 프리미티브에 관해서는 당신이 필요합니다.

JOBHANDLE X= GetJobId(); 
//single job 
AddJob(JOBHANLDE X,ChildJob y); 
//container of jobs 
AddJobs(JOBHANDLE x, ChildJobs Y); 

BeginAsyncExecute(JOBHANDLE X); 
WaitTillResult(JOBHANDLE X); 

당신은 (운영체제 커널에 의해 제공되는 것 이상으로) 차단 프리미티브를 정의하는 백그라운드에서 엔진을 필요로하고 그것의 모양에서 PLINQ 기술에 의해 처리되는, 실행하는 작업자 스레드와 작업을 관리합니다. PLINQ는 또한 좋은 녹색 실을 사용합니다.

당신은 데이터베이스와 웹 서버가 혼합되어 있다고 언급했습니다. 따라서 작업 프로세스/기능은 일괄 처리를 실행하기 전에 하위 작업을 올바른 리소스에 매핑해야합니다. 따라서 어린이는 일괄 처리가 가능한 RPC 호출 수가 훨씬 줄어들 수 있습니다.

그래서 작업 배치를 작성한 다음 차단합니다.

더 구체적인 것은 어렵습니다. 지금까지의 토론에 비추어 당신이 곤경에 처한 것을 말해주십시오.