0
나는 그것이 메모리 부족 예외를주고 그러나 간단한 쿼리를org.apache.hadoop.mapred.TaskTracker : 아이를 실행 오류 : java.lang.OutOfMemoryError와 : Java 힙 공간
select count(*) from t1 join t2 on t1.sno=t2.sno
에 참여 실행하고 있습니다.
t1
및 t2
은 rcfile
형식이며 클러스터링되고 ssn에 정렬되며 각각 2,000 만 개의 레코드가 있습니다. 나는 4GB 램과 2 개의 CPU 코어를 가진 3 개의 데이터 노드를 가지고있다.
지도 조인을 실행 해 보았지만 실패했습니다.
다른 구성 옵션은 다음과 같습니다
io.sort.mb- 500 MB
io.sort.factor- 10
fs.memory.size.mb- 500 MB
은 알려 주시기 바랍니다.