스플 라이스 머신으로 업 그레 이브

Question

스플 라이스 머신에 데이터를로드하기 위해 Spark에서 스트리밍 작업을 작성하고 있습니다. VTI를 사용하여 커뮤니티 자습서를 따라 Splice에 데이터를 삽입했지만 모든 예제에서는 INSERT를 수행합니다. 반대로, 나는 기록의 UPSERT를 수행해야합니다. 이것을 달성 할 수있는 방법이 있습니까?

감사합니다.

Answer 1

예 insertMode 힌트를 사용하도록 VTI 문을 변경하여 업서 트를 수행 할 수 있습니다. 그렇지 않으면 그것은의 일부입니다 모든 것을 생각하고, 당신의 자바 코드에 당신이 힌트 후 새 라인 문자 (\ n)를 추가해야한다는

INSERT INTO IOT.SENSOR_MESSAGES --splice-properties insertMode=UPSERT select s.* from new com.splicemachine.tutorials.sparkstreaming.kafka.SensorMessageVTI(?) s ( id varchar(20), enter code here location varchar(50), temperature decimal(12,5), humidity decimal(12,5), recordedtime timestamp );

참고 : 귀하의 문은 다음과 같을 것 힌트. 2.0.x 버전을 사용중인 경우 스플 라이스 시스템의 다음 릴리스에서 수정 된 VTI에 대한 힌트를 사용하는 데 문제가있었습니다. 수정 버전을 해당 버전으로 다시 가져올 수 있습니다. VTI를 사용할 때 유용하게 사용할 수

다른 두 가지 힌트는 다음과 같습니다

• statusDirectory : 많은 SYSCS_UTIL.IMPORT_DATA 문처럼 HDFS에 나쁜 디렉토리에 가져 오기/upsert 메시지를두고 수행
• badRecordsAllowed : 프로세스가 실패하기 전에 허용되는 불량 레코드 수를 나타냅니다.