임팔라 + 쪽모이 세공 파일

Question

내가 쪽모퉁이 파일을 만들었으며 임팔라 테이블로 가져 오려고합니다.

CREATE EXTERNAL TABLE `user_daily` (
`user_id` BIGINT COMMENT 'User ID', 
`master_id` BIGINT, 
`walletAgency` BOOLEAN, 
`zone_id` BIGINT COMMENT 'Zone ID', 
`day` STRING COMMENT 'The stats are aggregated for single days', 
`clicks` BIGINT COMMENT 'The number of clicks', 
`impressions` BIGINT COMMENT 'The number of impressions', 
`avg_position` BIGINT COMMENT 'The average position * 100', 
`money` BIGINT COMMENT 'The cost of the clicks, in hellers', 
`web_id` BIGINT COMMENT 'Web ID', 
`discarded_clicks` BIGINT COMMENT 'Number of discarded clicks from column "clicks"', 
`impression_money` BIGINT COMMENT 'The cost of the impressions, in hellers' 
) 
PARTITIONED BY (
year BIGINT, 
month BIGINT 
) 
STORED AS PARQUET 
LOCATION '/warehouse/impala/contextstat.db/user_daily/'; 

가 그럼 난이 스키마에이 파일을 복사 :

나는 아래 테이블 생성

parquet-tools schema user_daily/year\=2016/month\=8/part-r-00001-fd77e1cd-c824-4ebd-9328-0aca5a168d11.snappy.parquet 
message spark_schema { 
    optional int32 user_id; 
    optional int32 web_id (INT_16); 
    optional int32 zone_id; 
    required int32 master_id; 
    required boolean walletagency; 
    optional int64 impressions; 
    optional int64 clicks; 
    optional int64 money; 
    optional int64 avg_position; 
    optional double impression_money; 
    required binary day (UTF8); 
} 

을 그리고 나는

SELECT * FROM user_daily; 

I와 항목을 참조 할 때 get

File 'hdfs://.../warehouse/impala/contextstat.db/user_daily/year=2016/month=8/part-r-00000-fd77e1cd-c824-4ebd-9328-0aca5a168d11.snappy.parquet' 
has an incompatible Parquet schema for column 'contextstat.user_daily.user_id'. 
Column type: BIGINT, Parquet schema: 
optional int32 user_id [i:0 d:1 r:0] 

이 문제를 해결하는 방법을 알고 계십니까? 나는 BIGINT가 int_32와 같다고 생각한다. 테이블 구성표 또는 쪽매 세공 파일을 변경해야합니까?

Answer 1

내가 CAST(... AS BIGINT) 사용 int32에서 int64에 마루 스키마를 변경 : 그냥 CREATE TABLE LIKE PARQUET 변형을 사용합니다. 그런 다음 이름으로 가입하지 않기 때문에 열의 순서를 변경해야합니다. 그런 다음 작동합니다.

Answer 2

BIGINT는 int64이므로 불만의 이유가됩니다. 그러나 반드시 자신이 사용해야하는 여러 유형을 알아야 할 필요는 없습니다. 임팔라는 그것을 할 수 있습니다.

The variation CREATE TABLE ... LIKE PARQUET 'hdfs_path_of_parquet_file' lets you skip the column definitions of the CREATE TABLE statement. The column names and data types are automatically configured based on the organization of the specified Parquet data file, which must already reside in HDFS.