Spark에서 NULL 값을 Redshift에 삽입하는 방법은 무엇입니까?

Question

spark-csv을 사용하여 에 데이터를로드하기 위해 COPY 명령에 사용하는 파일을 만듭니다. Redshift 설명서에 따르면 NULL 값의 유효한 리터럴은 NULLhttp://docs.aws.amazon.com/redshift/latest/dg/r_Boolean_type.html이어야합니다.

그러나, 나는 Redshift에이를 인식하지 수, Redshift에 올바르게 S3에서 COPY 명령에 그것을 인식 할 수 있도록 NULL 값을 설정하는 올바른 리터럴 값은 무엇인가?

Answer 1

당신은 내가로드 적색 편이의 spark-reshift 라이브러리를 시도 제안 NULL AS 'NULL'http://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html#copy-null-as

으로 COPY 문에서 값을 지정할 수 있습니다. 이 문제는 많은 것을 처리해줍니다. https://github.com/databricks/spark-redshift