.tar.gz 파일의 큰 .csv 파일을 하이브 테이블에로드하십시오.

Question

.tar.gz 파일에 큰 .csv 파일이 저장되어 있으며 하이브 테이블에 내용을 넣으려고합니다. 아쉽게도 .csv 파일의 압축을 풀기에 충분한 디스크 공간이 없습니다.

나는 다음과 같은 시도 (다음과 같은 변형) 한 :

Set Hive.exec.compress.output = true; 
Set io.seqfile.compression.type = block; 

DROP TABLE IF EXISTS db.test; 
CREATE TABLE db.test 
(var1 STRING, . . . varn STRING) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
FIELDS TERMINATED BY '\n'; 

create table test_seq 
stored as sequencefile as 
select * from test ; 
LOAD DATA LOCAL INPATH '/home/db/test.tar.gz' INTO TABLE db.test; 

create table test_seq 
stored as sequencefile as 
select * from test; 

SELECT * FROM test LIMIT 10; 

그러나 결과 테이블은 NULL 값을 포함합니다. 어떤 제안?

Answer 1

두 번째 '필드 종료'는 '행 종료'로 대체해야합니다.