하이브는 이전 파티션에서 읽기 잠금이있는 경우 새 파티션에서 쓰기 잠금을 얻지 않습니다.

Question

날짜별로 파티션 된 데이터가 있습니다. 우리의 파이프 라인은 매일 새로운 파티션을 테이블에 추가합니다. 또한 사용자가 파티션을 필터링하여 긴 읽기 쿼리를 실행하는 사용 사례가 있습니다.

우리는 이전 파티션 (SHARED 잠금)에서 실행중인 읽기 쿼리가있는 경우 새 파티션 (EXCLUSIVE)에 대한 잠금을 획득 할 수없는 경우를 보았습니다.

HIVE가 인식 할 수있는 방법은 이전 쿼리에서 새 파티션을 읽지 않고 해당 파티션에 대해 EXLUSIVE 잠금을 획득하여 병렬 처리를 증가시키는 것입니다.

Answer 1

파티션에 공유 잠금이있는 the documentation에 따르면 동일한 파티션에 단독 잠금을 가져 오는 것을 방지하지 않습니다.

1. 그것은 하이브가 어디 문 (복잡한/경유를 사용하는 partition을보고 너무 어렵다 : 귀하의 질문에 다음 그러나 실제로 나는 다음과 같은 두 가지 생각할 수있는 잘못된 나타납니다 이론적으로
   ?)
2. 문서는 정확하게, 또는 당신이 점 하나를 확인하는 것이 좋습니다, 그렇지 않으면 최소한의 재현 예를 추가

나 잘못 해석되지 않습니다.