PostgreSQL의 : 스타 스키마로 데이터를로드 효율적으로

Question

는 PostgreSQL의 9.0에 다음과 같은 구조의 테이블을 상상해

create table raw_fact_table (text varchar(1000)); 

단순화를 위해서 난 단지 하나의 텍스트 열을 언급, 그것은 다스가 현실에서. 이 테이블에는 100 억 개의 행이 있고 각 열에는 많은 중복이 있습니다. 테이블은 COPY FROM을 사용하여 플랫 파일 (csv)에서 작성됩니다.

create table fact_table (dimension_table_id int); 

내 현재의 방법

create table dimension_table (id int, text varchar(1000)); 

사실 테이블은 다음과 같은 사실 테이블로 대체 될 것이다 :

나는 다음과 같은 스타 스키마 구조로 변환 할 성능을 향상하려면 기본적으로 다음 쿼리를 실행하여 차원 테이블을 만듭니다.

Create table dimension_table (id int, text varchar(1000), primary key(id)); 

다음 차원 테이블을 채우기 만들기 위해 내가 사용

select id into fact_table from dimension inner join raw_fact_table on (dimension.text = raw_fact_table.text); 

그냥 몇 가지 다른 문자열로 모든 문자열을 비교하여 내가 얻을 끔찍한 성능을 상상 :

insert into dimension_table (select null, text from raw_fact_table group by text); 

는 그 후 나는 다음과 같은 쿼리를 실행해야 타임스.

MySQL에서는 COPY FROM 중에 저장 프로 시저를 실행할 수있었습니다. 이것은 문자열의 해시를 만들 수 있으며 모든 후속 문자열 비교는 긴 원시 문자열 대신 해시에서 수행됩니다. 이것은 PostgreSQL에서 가능하지 않은 것 같습니다. 그럼 어떻게해야합니까?

샘플 데이터는 다음과 같이 (I 정수 주위 또한 따옴표를 사용하고 복식)를 포함하는 CSV 파일 다음과 같습니다

"lots and lots of text";"3";"1";"2.4";"lots of text";"blabla" 
"sometext";"30";"10";"1.0";"lots of text";"blabla" 
"somemoretext";"30";"10";"1.0";"lots of text";"fooooooo" 

Answer 1

질문 : - 1 또는 2 단계로 데이터를 변환해야합니까? - 변환하는 동안 테이블을 수정할 수 있습니까?

는

한 가지 방법이 될 것입니다 성능 (그리고 그 일을하는 동안 서버로드)를 향상시킬 수보다 더 간단 쿼리를 실행 :

이

1. dimension_table 생성 (내가 제대로 이해한다면, 당신은 필요가 없습니다 (아마도 임시 부울 필드를 추가하면 ...)
2. repeat : dimension_table에서 이전에 선택하지 않은 항목을 하나 선택하고 raw_fact_table에서 모든 행을 선택하여 fact_table에 삽입합니다. 마크 dimension_table 완료로 기록하고, 다음은 ... 당신은 저장 프로 시저로이 쓸 수, 그리고 (아마도 더 나은) ... 최소한의 자원을 먹고, 백그라운드에서

또는 다른 데이터를 변환 할 수 있습니다

를

1. raw_fact_table 및 하나의 dimension_id에서 모든 레코드로 fact_table을 작성하십시오.
없는 경우
2. 가 dimension_table
3. 에 새로운 레코드를 생성 fact_table에 dimension_text위한
   • 검색 :
   • 가 dimension_table
   • 어느 fact_table위한 삽입 트리거 후에를 만들면된다 (그래서 dimension_text 및 dimension_id 행을 포함) dimension_id를이 ID로 업데이트
4. simle 루프에서 raw_fact_table에서 fact_table까지 모든 레코드를 삽입

Answer 2

당신은 마지막에 거기에 몇 가지 세부 사항을 생략됩니다, 그러나 나는 것을 볼 수 없습니다 반드시 문제가있다. 모든 문자열이 실제로 다른 모든 문자열과 비교된다는 것은 증거가 아닙니다. 조인을하면 PostgreSQL은 해시 조인과 같은 더 똑똑한 조인 알고리즘을 선택할 수 있습니다.이 알고리즘은 MySQL 솔루션에서 구현하는 것과 동일한 해싱을 제공합니다. (다시 말하지만, 당신의 세부 사항은에 흐릿한 있습니다.)

Answer 3

그냥 무서운 성능을 상상 나는 모든 다른 문자열을 여러 번 모든 문자열을 비교하여 얻을.

이 작업을 수행하다가 성능 상상을 멈추고 측정을 시작합니다. "조기 최적화는 모든 악의 뿌리입니다."

"10 억"은 무엇을 의미합니까? 나에게 미국에서는 1,000,000,000 (또는 1e9)을 의미합니다. 그게 사실이라면, 아마도 1 테라 바이트에서 7 테라 바이트의 데이터를 보게 될 것입니다.당신이 될거야에 대한 정수를 사용하는 테이블에 100 억 개 행을 맞게되는 방법

Create table dimension_table (id int, text varchar(1000), primary key(id)); 

:

내 현재의 방법은 기본적으로 가 차원 테이블을 만들려면 다음 쿼리를 실행하는 것입니다 기본 키? 행의 절반이 중복된다고합시다. 당신이 그것을 할 때 그 산술은 어떻게 작동합니까?

생각하지 마세요. 먼저 읽으십시오. 그럼 테스트 해봐.

Data Warehousing with PostgreSQL을 읽으십시오. 나는이 프리젠 테이션 슬라이드가 당신에게 몇 가지 아이디어를 줄 것이라고 생각합니다.

또한 Populating a Database을 읽고 구현할 제안 사항을 고려하십시오.

"나누기 및 정복"프로세스에 따라 백만 (1e6) 행으로 테스트합니다. 즉, 한 번에 백만을로드하려고 시도하지 마십시오. 그것을 작은 덩어리로 분해하는 절차를 작성하십시오. 실행

EXPLAIN <sql statement> 

적어도 99 % 중복 행을 추정했다고 말했습니까? 대체로 반드시 속는 데이터베이스 내부

1. , 당신이 생산을 위해 사용하는 것과 동일한 플랫폼을 제거하는 방법에는 두 가지가 있습니다, 말하기.
2. 데이터베이스 외부, 파일 시스템에서 반드시 프로덕션에 사용하는 것과 동일한 파일 시스템 일 필요는 없습니다.

아직로드 한 텍스트 파일이있는 경우 먼저 데이터베이스 외부에서 시도해보십시오. 이 awk one-liner는 각 파일에서 고유 한 행을 출력합니다. 데이터를 한 번 통과시키는 것이 상대적으로 경제적입니다.

awk '!arr[$0]++' file_with_dupes > file_without_dupes 

당신이 정말로 99 % 속는이있는 경우,이 과정의 말에 당신이 50 기가까지 당신의 1 ~ 7 테라 바이트를 감소해야한다. 또한 데이터웨어 하우스에 복사하기 전에 각 고유 한 줄에 번호를 매기고 탭으로 구분 된 파일을 만들 수도 있습니다. 당신이 Windows에서이 작업을 수행해야하는 경우

awk '{printf("%d\t%s\n", NR, $0);}' file_without_dupes > tab_delimited_file 

, 내가 Cygwin을 사용하십시오 : 그것은 또 다른 한 줄입니다.

데이터베이스에서이 작업을 수행해야한다면 프로덕션 데이터베이스 또는 프로덕션 서버를 사용하지 않는 것이 좋습니다. 하지만 어쩌면 너무 조심스러워. 몇 테라 바이트를 이동하는 것은 비용이 많이 드는 일입니다.

하지만 GROUP BY를 사용하기 전에

SELECT DISTINCT ... 

을 테스트 할 것입니다. 대용량 데이터에 대해 몇 가지 테스트를 수행 할 수 있지만 이번 주에는 그렇지 않을 수 있습니다. (저는 보통 테라 바이트 크기의 파일로 작업하지 않습니다. 재미있을 것 같습니다.)

Answer 4

나는 16 진수 결과를 반환 문자열의 MD5 해시 계산) PostgreSQL의 MD5 (문자열의 MD5 기능이 있습니다 널 선택 (dimension_table, MD5로

삽입 문제 를 해결하는 몇 가지 방법을 참조 텍스트 의해 raw_fact_table 그룹 (텍스트), 텍스트)

이너 (dimension.md5 = raw_fact_table.md5)에 가입 raw_fact_table 차원에서 fact_table로 raw_fact_table뿐만 선택 자료로 MD5 필드를 추가; MD5에

인덱스뿐만 아니라

도움이 될 제출 또는 데이터를로드하는 동안 당신은 즉시 MD5를 계산할 수 있습니다. 예를 들어, ETL 도구 인 Advanced ETL 프로세서를 사용하여 수행 할 수 있습니다. 플러스 그것은 동시에 여러 테이블에 데이터를로드 할 수 있습니다. 이 하나가 천천히 변화하는 차원을

http://www.dbsoftlab.com/online-tutorials/advanced-etl-processor/advanced-etl-processor-working-with-slow-changing-dimension-part-2.html

Answer 5

-- add unique index 
CREATE UNIQUE INDEX uidx ON dimension_table USING hash(text); 
-- for non case-sensitive hash(upper(text)) 

시도 해시 (텍스트)을로드 보여줍니다 예를 들어 웹 사이트 볼 온라인 자습서의 숫자가있다

; btree (텍스트)를 사용하여 어느 것이 더 빠르는지 확인하십시오.