빠른 삽입; 관계형 데이터를 사용한 대량 복사

Question

가능한 한 효율적으로 데이터베이스에 삽입하려는 대량의 지속적으로 들어오는 데이터 (분당 10,000 개 이상 증가)가 있습니다. 지금은 준비된 insert 문을 사용하고 있지만 SqlBulkCopy 클래스를 사용하여 더 큰 청크로 데이터를 가져올 생각입니다.

문제는 단일 테이블에 삽입하지 않는다는 것입니다. 데이터 항목의 요소는 수많은 테이블에 삽입되며 ID 열은 동시에 삽입되는 다른 행의 외래 키로 사용됩니다. 나는 대량 복사가 이와 같은 복잡한 삽입을 허용하지 않는다는 것을 이해하지만 uniqueidentifier 열에 대해 내 ID 열 (이 경우에는 bigints)을 교환 할 가치가 있는지 궁금합니다. 이렇게하면 각 테이블에 대해 대량 복사를 할 수 있으며 삽입 전에 ID를 확인할 수 있으므로 SCOPE_IDENTITY와 같은 항목을 확인할 필요가 없으므로 대량 복사를 사용할 수 없습니다.

실용적인 솔루션처럼 들리거나 내가 직면 할 수있는 다른 잠재적 인 문제가 있습니까? 또는 데이터를 빠르게 삽입 할 수있는 또 다른 방법이 있지만 bigint ID 열의 사용을 유지하고 있습니까?

감사합니다.

Answer 1

"SQL prep [GUID 서로 게이트 키 할당] 방법론을 사용하여"SQL이 [bigint identity() 열] 대리 키 "를 교환 할 계획 인 것 같습니다. 즉, 키는 SQL 내에서 할당되지 않고 SQL 외부에서 할당됩니다. 귀하의 볼륨을 감안할 때, 데이터 생성 과정 대리 키를 할당 할 수 있다면 분명히 그와 함께 갈 것입니다.

다음 질문은 GUID를 사용해야합니까, 아니면 데이터 생성 프로세스에서 자동 증가 정수를 생성 할 수 있습니까? 일관되고 틀림없이 작동하는 프로세스를 만드는 것은 어렵습니다 (SQL Server에 대해 $$$을 지불해야하는 이유 중 하나입니다). 그러나 데이터베이스 내에서 작고 읽기 쉬운 키에 대한 절충이 그만한 가치가있을 수 있습니다.

Answer 2

uniqueidentifier는 페이지 나누기와 더 넓어 질 가능성이 있습니다.

• 당신이 저장 프로 시저
• 사용 A와 한 번에 실제 테이블에 준비 테이블을
• 부하를로드 : 귀하의 부하가/일괄 처리 할 수있는 경우, 하나의 옵션을 this

  을 참조하다 각 배치에 대한 스테이징 테이블의 uniqueidentifier

초당 약 50k 행의 피크를 처리합니다. 우리는 실제로 별도의 준비 데이터베이스를 사용하여 이중 트랜잭션 로그 쓰기를 방지합니다.)