처리 된 레코드 유지

Question

TPL을 사용하여 큐에 대해 병렬로 처리하는 C# 프로세스가 있습니다. 각 레코드를 처리 한 후 처리 된 각 레코드 ID의 실제 레코드를 설정하여 프로세스가 실패하거나 중단되면 두 번째로 해당 레코드를 처리하지 않도록 할 수 있습니다. 레코드는 한 번만 처리해야합니다.

레코드 ID를 간단한 텍스트 파일과 Sqlite 테이블에 직렬화하려고했습니다. 두 경우 모두 작은 레코드 ID (Guid 's)를 저장하는 시간은 레코드 자체의 전체 프로세스 시간의 50 %를 차지합니다. 나도 열고 Sqlite 연결을 사용하려고 시도하고 삽입을 할 parameritized 삽입 쿼리를 열거 나 데이터베이스 파일을 닫지 않아 그리고 더 나은 아니에요.

제 질문은, 내 프로세스가 죽으면 내게 그만 둔 곳에서 데리러 갈 수 있도록 영구적 인 방식으로 Guid (어쩌면 1000-2000) 목록을 어떻게 유지할 수 있습니까? ? 나는 서버가 재부팅되거나 프로세스가 종료되는 경우 빠른 속도로 아무 것도 시도하지 않고 계속 시도 할 것입니다.

아이디어가 있으십니까?

Answer 1

재부팅에서 살아남을 수있을 정도로 오래 지속되는 내용은 조만간 (또는 더 빨리) 디스크에 기록해야합니다.

이것은 이미 선택 항목을 거의 열거했음을 의미합니다.

다음 질문은 레코드가 이미 처리되었는지 여부를 확인하는 비용과 실수로 추적 메커니즘을 제거하는 최종 사용자의 위험 수준을 묻는 것입니다.

정보를 텍스트 파일에 쓰는 경우에는 쓰기가 빠르지 만 느린 읽기 (정보를 캐시하지 않은 경우)와 사용자가 파일을 제거 할 가능성이 상당히 높습니다.

어떤 종류의 데이터베이스를 사용하는 경우에도 쓰기는 여전히 상당히 빠르며 검색은 텍스트 파일보다 빠르며 사용자가 저장소 메커니즘을 제거 할 확률이 훨씬 낮습니다.

이러한 요인에 따라 필자는 일종의 데이터베이스를 강력히 추천합니다. 필자는 성능, 구현 및 배포 비용과 유지 관리 비용을 고려한 최적의 성능을 제공하는 여러 데이터베이스를 모델링 (또는 연구)했습니다.