Pentaho Spoon Microsoft 액세스 출력 성능

Question

"Microsoft Access Output"단계로 데이터베이스 테이블 (액세스)을 채우려고하지만 성능이 매우 저하됩니다. 내 데이터가 2 xmls에서 읽었으며 1 분 (데이터 36000 행)에 합병되었고 액세스 출력이 현재 12 r/s로 1 시간 동안 실행 중임을 의미합니다. 한 번에 모든 ma 데이터를 커밋 할 수있는 커밋 크기를 설정했습니다 (Commint 크기 500의 경우 10 번째 커밋 후에 일부 Java 오류가 발생 함).

CSV로 파일을 작성하고 액세스하여 가져 오는 방법은 더 빠르지 만 프로세스에서 가능한 한 많이 자동화하고 싶습니다. 더 나은 성능을 얻는 방법에 대한 제안은 언제든지 환영합니다.

Answer 1

나는 MS Access 출력 단계에서 결코 좋은 행운을 얻지 못했습니다. Access DB에 대한 ODBC 항목을 만들고 일반 테이블 출력 단계로로드하면 훨씬 더 효과적입니다.

Jackcess 드라이버의 최신 버전이 있는지 확인할 수도 있습니다.

편집 : 또한 CSV 작성과 같은 데이터 흐름을 자동화하기 위해 작업을 사용합니다. 변환에만 익숙하다면, ETL 작업에 관한 문서를보십시오.