Hadoop Hive 쿼리 최적화

Question

yyyyMMdd 형식으로 날짜별로 파티셔닝 된 테이블이 있습니다. 다음과 같은 간단한 쿼리를 수행하는 경우 :

SELECT COUNT(*) FROM MyTable WHERE Date >= '20140924' 

그러면 3 일 동안 데이터를 검색합니다 (오늘은 26 일). 그러나 나는 항상 지난 3 개월보고 내 쿼리를하고 싶은, 그래서 문제는 이제 모든 파티션을 검사한다는 것입니다 나는이

SELECT COUNT(*) FROM MyTable 
WHERE date >= from_unixtime(unix_timestamp() - 259200, 'yyyyMMdd') 

처럼 물품. 그것보다 큰 후에 쿼리의 일부를 미리 계산할 수있는 방법이 있습니까?

Answer 1

불행히도 Hive는이를 지원하지 않습니다. 저는 과거에 비슷한 문제에 직면 해 있었고 하이브 테이블은 지난 2 년간 파티션을 가지고있었습니다.

그러나 해결 방법 중 하나는 다른 변수에서이 날짜를 계산하고 하이브 쿼리의 변수로 사용하는 셸 스크립트에서이 하이브 쿼리를 실행할 수 있다는 것입니다. 예제 스크립트는 다음과 같습니다.

#!/bin/bash 

date=`date +"%Y%m%d" -d "-3 days"` 
hive -e "select count(*) from MyTable where date >= '$date'" 

Answer 2

한 가지 해결 방법은 계산 된 시간을 선택할 수있는 단일 행이있는 테이블을 만드는 것입니다.

CREATE TABLE dual (dummy STRING); 
INSERT INTO TABLE dual SELECT count(*) FROM dual; 

SELECT COUNT(*) FROM MyTable t1 
JOIN (
    SELECT from_unixtime(unix_timestamp() - 259200, 'yyyyMMdd') myDate 
    FROM dual LIMIT 1 
) t2 ON (t2.myDate = t1.Date)