외부 테이블 (HIVE) 파일에서 몇 개의 열만 선택하십시오.

Question

파일에서 몇 개의 열만 설정하는 외부 테이블을 만들려면 어떻게해야합니까?

예 : 아카이브에는 6 개의 열 A, B, C, D, E, F가 있습니다. 하지만 내 탁자에서 나는 A, C, F만을 원해.

가능합니까?

Answer 1

HDFS 파일의 열을 선택적으로 외부 테이블에 포함시키는 방법을 모르겠습니다. 유스 케이스에 따라 원하는 열만 포함하도록 외부 테이블을 기반으로 뷰를 정의하는 것으로 충분할 수 있습니다. 당신이해야 할 원하는 것을 달성하기 위해

hive> CREATE VIEW filtered_ext_table AS SELECT A, C, F FROM ext_table; 
OK 
Time taken: 0.749 seconds 
hive> DESCRIBE filtered_ext_table; 
OK 
a       string        
c       string        
f       string        
Time taken: 0.266 seconds, Fetched: 3 row(s) 
hive> SELECT * FROM filtered_ext_table; 
OK 
row_1_col_A row_1_col_C  row_1_col_F 
row_2_col_A row_2_col_C  row_2_col_F 
row_3_col_A row_3_col_C  row_3_col_F 
Time taken: 0.301 seconds, Fetched: 3 row(s) 

또 다른 방법 : 단지 당신이 원하는 열을 포함에

hive> CREATE EXTERNAL TABLE ext_table (
    > A STRING, 
    > B STRING, 
    > C STRING, 
    > D STRING, 
    > E STRING, 
    > F STRING 
    >) 
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
    > STORED AS TEXTFILE 
    > LOCATION '/tmp/ext_table'; 
OK 
Time taken: 0.401 seconds 
hive> SELECT * FROM ext_table; 
OK 
row_1_col_A row_1_col_B  row_1_col_C  row_1_col_D  row_1_col_E  row_1_col_F 
row_2_col_A row_2_col_B  row_2_col_C  row_2_col_D  row_2_col_E  row_2_col_F 
row_3_col_A row_3_col_B  row_3_col_C  row_3_col_D  row_3_col_E  row_3_col_F 
Time taken: 0.222 seconds, Fetched: 3 row(s) 

그런 다음 뷰를 만들 : 예를 들어, 외부 테이블의 다음과 같은 바보 예제를 제공 외부 테이블을 뒷받침하는 HDFS 파일을 수정할 수 있습니다. 관심있는 열이 모두 각 행의 시작 부분에 있으면 외부 테이블을 정의하여 처음 세 열만 캡처하도록 할 수 있습니다 (얼마나 많은 열은 실제로 파일에 있음). 예를 들어, 위와 같은 데이터 파일 :

hive> DROP TABLE IF EXISTS ext_table; 
OK 
Time taken: 1.438 seconds 
hive> CREATE EXTERNAL TABLE ext_table (
    > A STRING, 
    > B STRING, 
    > C STRING 
    >) 
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
    > STORED AS TEXTFILE 
    > LOCATION '/tmp/ext_table'; 
OK 
Time taken: 0.734 seconds 
hive> SELECT * FROM ext_table; 
OK 
row_1_col_A row_1_col_B  row_1_col_C 
row_2_col_A row_2_col_B  row_2_col_C 
row_3_col_A row_3_col_B  row_3_col_C 
Time taken: 0.727 seconds, Fetched: 3 row(s) 

Answer 2

내가 대답 here

create table tmpdc_ticket(
    SERVICE_ID CHAR(144), 
    SERVICE_TYPE CHAR(50), 
    CUSTOMER_NAME CHAR(200), 
    TELEPHONE_NO CHAR(144), 
    ACCOUNT_NUMBER CHAR(144), 
    FAULT_STATUS CHAR(50), 
    BUSINESS_GROUP CHAR(100) 
) 
organization external(
    type oracle_loader 
    default directory sample_directory 
    access parameters(
     records delimited by newline 
     nologfile 
     skip 1 
     fields terminated by '|' 
     missing field values are null 
      (DUMMY_1, 
      DUMMY_2, 
      SERVICE_ID CHAR(144), 
      SERVICE_TYPE CHAR(50), 
      CUSTOMER_NAME CHAR(200), 
      TELEPHONE_NO CHAR(144), 
      ACCOUNT_NUMBER CHAR(144), 
      FAULT_STATUS CHAR(50), 
      BUSINESS_GROUP CHAR(100) 
     ) 
    ) 
    location(sample_directory:'sample_file.txt') 
) 
reject limit 1 
noparallel 
nomonitoring;