Spring 프로젝트 중 어떤 것이 Greenplum에 삽입하거나 Greenplum으로 작업하기위한 템플릿이나 유틸리티를 제공합니까?Spring에서 Greenplum 사용하기
Spring 배치를 사용하여 Tasklet에서 Greenplum gpload 유틸리티를 호출하여 지정된 파일을 데이터베이스에 삽입하는 방법이 있다는 것을 알고 있습니다.
그러나 Spring Data와 Spring XD 프로젝트 모두 추상적 인 데이터 액세스와 큰 데이터 요구 사항을 처리한다는 목표를 제시하고 있지만이 요구 사항에 맞게 사용자 정의 된 사항이 있어야합니다. 이것은 Pivotal이 현재 GreenPlum과 Spring 모두에 얼마나 밀접하게 관련되어 있는지를 감안할 때 특히 그렇습니다.
누구나 Spring과 Greenplum에 대한 경험이 있고 어떤 지침이나 모범 사례를 제공 할 수 있다면 매우 높이 평가됩니다.
저는 Spring Batch와 Greenpulm에서 일했습니다. Greenplum Database는 PostgreSQL을 기반으로하기 때문에 투명하게 작동하는 PostgresSQL jdbc 드라이버를 사용하십시오.
이것은 여러 차례 나오고 있습니다. 꽤 오래 전에이 영역에서 수행 된 작업이 있었지만 우리는이 코드를 공개 저장소로 옮기지 않았습니다. 이제이 코드를 github에 넣을 좋은시기가되었습니다.
다음은 사용 가능한 기능을 설명하는 문서입니다. 거기 분명하지 않을 수도 있습니다 무엇
https://drive.google.com/file/d/0B2yhsfF9zZ71VTV2bzN5TnpzMGM/edit?usp=sharing
우리가 명령 줄을 사용하여 대 Java로 사용 gpfdist을 프로그램 적으로 쉐이프 할 수 있습니다 (I 기억으로는) 것입니다. 이 글의 저자는 주석을 달 수 있습니다.
이 작품은 Taskplot이 Greenplum gpload 유틸리티를 호출하지는 않지만 확실히 좋은 생각입니다. 우리는 HDFS에 파일을 쓰는 FTP 작업 릿에서 첫 번째 단계를 끝냈습니다.이 파일은 시작하기 좋은 기초가되어야합니다.
저는이 분야에서 더 많은 아이디어를 얻고 자합니다. 하나의 아이디어는 xd- 컨테이너 노드의 로컬 파일 시스템에 위치한 파일을 병렬로 처리 할 수있는 배치 분할 작업을 사용하는 것입니다.
귀하의 회신을 기다리십시오.
건배, 표시