스파크 UI 인덱스 파티션

스파크 UI이 열을 도시한다. 열 "인덱스"가 파티션 번호와 일치합니까? 인덱스 0이 파티션 번호 0과 일치합니까?

2016-12-08 syl

예 모든 단계 변환에 대해 인덱스가 0으로 시작됨을 알 수 있으므로 파티션의 인덱스이며 ID가 증가하므로 인덱스와 ID를 혼동하지 마십시오. 또 다른 변환을 볼 때 다시 볼 수 있습니다. 0으로 시작한 인덱스.

2016-12-08 11:24:15

해시 파티션을 사용하면 파티션 인덱스는 keys.hashcode() % numpartitions을 사용하여 계산됩니다. 이 값이 색인 열과 일치합니까? – syl

@syl shuffle RDD에 대해 내부적으로 해시 파티셔를 사용하여 스파크를 발생시키지 않으므로 인덱스 열과 같지 않으며 내부적으로 파티션 ID 스파크를 할당 할 수 없습니다. 도움이된다면 pls는 대답을 수락합니다 :) –

답변