SSAS의 사용자 지정 ROLAP 데이터 소스

Question

많은 바이너리 파일에서 OLAP 데이터 소스를 빌드하려고하는데 현재 모델이 작동하지 않습니다. 우리는 SSAS를 결과에 대한 분석 /보고 모델로 사용하고 있지만 SQL에서 원하는 성능을 얻을 수는 없습니다.

우리의 주요 제약 조건은 다음과 같습니다

1. 데이터베이스는 매우 큽니다. 우리는 수백만 행의 거대한 차원 테이블과 몇 개의 작은 사실 테이블 (< 1,000,000 행)을 가지고 있습니다.

2. 동적 큐브가 있습니다. B/C 팩트 테이블은 동적으로 만들어지며 종종 (하루에 여러 번) 큐브를 설정하는 데 엄청난 오버 헤드가 없습니다. 큐브의 현재 배포 시간은 24 시간을 초과 할 수 있습니다. 하드웨어가 제공하지 못하는 성능의 주문량이 필요합니다.

는 기본적으로, 우리는 빠른 설치를 원하는 본질적으로 SSAS SQL Server 2005를 사용에 적합하지 않는, 배포, 그러나 우리는보고 SSRS를 사용하려면 우리는 Excel에서 분석을위한 OLAP 모델을 원하는 가능한 경우 SSAS를 사용하여 큐브를 작성하고 싶습니다.

빠른 배포를위한 SSAS의 일반적인 솔루션은 ROLAP이지만 더 큰 ROLAP 쿼리에서 실행 오류가 발생하며 바이너리 데이터를 SQL로 변환하고이를 SQL로로드하는 데 필요한 모든 오버 헤드가 맘에 들지 않습니다. 입방체.

누구나 SSAS에서 사용할 수있는 사용자 지정 OLAP 데이터 소스에서 작업을 했습니까? 바이너리 소스 파일을 직접 쿼리하는 자체 ROLAP 엔진을 만들려고합니다.

Answer 1

당신은 낮은 대기 시간 큐브 (최신 데이터를 보여주는 즉 하나) 같은 것들에 대한 표준 아키텍처를해야하는 경우, 따라서이다 :

• 이 점진적으로 소스에서 변경된 데이터와 팩트 테이블을로드합니다.
• 매일 또는 다른 적절한 기간에 새 파티션을 생성하는 프로세스로 파티션 된 큐브를 작성하십시오. 큐브에는 가장 최근의 파티션이 ROLAP 모드로 설정되고 이전 파티션은 MOLAP으로 빌드됩니다.
• 파티션을 업데이트하고 새 파티션을 생성 할 때 이전 파티션을 ROLAP에서 MOLAP으로 변경하는 프로세스를 설정합니다.

큐브에 대한 쿼리는 최신 데이터의 상대적으로 작은 ROLAP 파티션과 기록 데이터의 MOLAP 파티션을 공격합니다. MOLAP 파티션에는 집계가있을 수 있습니다. 이 프로세스는 최첨단 ROLAP 파티션을 계속 전진시키고 전임자로 변환합니다. AS는 이전 파티션을 계속 유지하고 교체 파티션이 만들어져 온라인 상태가 될 때까지 사용합니다.

이러한 아키텍처 유형이 요구 사항에 맞으면 이러한 방식으로 고려할 수 있습니다.

Answer 2

응답 해 주셔서 감사합니다.

나는 이것을 좀 더 잘 설명 할 필요가 있다고 생각한다. 내 원본 데이터는 데이터베이스가 아닌 독점적 인 형식이므로 사실 테이블 자체에 들어가는 데는 상당한 시간이 걸립니다. 그런 다음 큐브를 가능한 한 빨리 (가능한 한 빨리) 배포해야하며 SQL을 사용하는 작은 데이터 세트에서도 현재는 볼 수없는 빠른 쿼리 응답이 필요합니다.

큐브의 구조가 동적이기 때문에 사실 큐브의 모든 측면을 다시 빌드해야하므로 사실 이후에 새로운 데이터가 도입되지 않으므로 MOLAP 및 ROLAP의 다른 부분으로 파티션을 분할하지 않습니다. 정말 도움이됩니다. 우리는 "Process Full"에서 성과를 찾고 있습니다.

우리는 쿼리를 위해 SQL을 사용할 수없고 분석 서비스 (또는 모든 OLAP 도구)가 읽을 수있는 사용자 지정 ROLAP 데이터 소스를 만든 사람이 있는지 알고 싶어합니다.

우리는 신속하게 결과 세트를 생성 할 수 있습니다. SSAS에서 쿼리를 가져 와서 그 결과를 다시 제공하는 방법을 알아야합니다. 우리는 SSAS를 데이터를 처리하거나 집계하는 대신 시스템과 Excel, SSRS 등의 중간 단계로 사용하려고합니다.

Answer 3

데이터 세트에 인터페이스하기 위해 자숙 라이브러리 (C Extensions 지원)와 함께 R과 같은 것을 사용할 수 있습니까? R은 복잡한 보고서 또는 데이터 사전 처리 라이브러리를 작성하는 데 상당한 유연성을 제공합니다. 또한 Excel에 대한 인터페이스도 있습니다.

전통적인 DB/OLAP 모델과는 다소 다른 툴 체인이지만 C로 빠른 데이터 세트 로더를 작성하고 데이터베이스에로드하는 중간 단계를 건너 뛸 수 있습니다.

Answer 4

아직 운이 없었습니다. 우리는 자체 데이터 공급자를 구축하고 olap 동작을 에뮬레이트하는 Excel 애드온을 빌드하거나 CLR 테이블 반환 함수를 사용하여 데이터 소스를 에뮬레이션하고 큐브를 빌드하는 방법을 모색 중입니다. 한 CLAS 물건을 시도 한 끔찍한 성능을했다 및 큐브를 빌드 할 때 실행되는 쿼리의 양을 SSAS 실행 되었기 때문에. SQL 08 환경에서 더 빠른 새 머신을 구할 수 있는지 기다리고 있습니다. Scott 행운을 비네.