2012-06-21 3 views
0

나는 그것이 메모리 부족 예외를주고 그러나 간단한 쿼리를org.apache.hadoop.mapred.TaskTracker : 아이를 실행 오류 : java.lang.OutOfMemoryError와 : Java 힙 공간

select count(*) from t1 join t2 on t1.sno=t2.sno 

에 참여 실행하고 있습니다.

t1t2rcfile 형식이며 클러스터링되고 ssn에 정렬되며 각각 2,000 만 개의 레코드가 있습니다. 나는 4GB 램과 2 개의 CPU 코어를 가진 3 개의 데이터 노드를 가지고있다.

지도 조인을 실행 해 보았지만 실패했습니다.

다른 구성 옵션은 다음과 같습니다

io.sort.mb- 500 MB 
io.sort.factor- 10 
fs.memory.size.mb- 500 MB 

은 알려 주시기 바랍니다.

답변

0

지도에 표시된대로 mapred.child.java.opts 속성을 구성해야합니다. post

관련 문제