증가 io.sort.mb

누군가 내 구성에서 무엇이 잘못되었는지 찾아내는 데 도움을 주시면 매우 감사하겠습니다.증가 io.sort.mb

io.sort.mb의 값을 늘려서 아래의 속성을 core-site.xml에 추가했습니다. io.sort.mb는 350m

내가 분명히 아래에 부착하고 런타임 정보는 io.sort.mb의 값이 100 머물렀다 = 기본 값 io.sort.mb 오히려 변경되지 않았 음을 보여줍니다.

13/08/15 16:43:34 INFO mapred.Task: Using ResourceCalculatorPlugin : [email protected] 
13/08/15 16:43:34 INFO mapred.MapTask: numReduceTasks: 1 
13/08/15 16:43:34 INFO mapred.MapTask: **io.sort.mb = 100** 
13/08/15 16:43:34 INFO mapred.MapTask: data buffer = 79691776/99614720 
13/08/15 16:43:34 INFO mapred.MapTask: record buffer = 262144/327680 
13/08/15 16:43:34 INFO mapred.MapTask: Starting flush of map output 
13/08/15 16:43:34 INFO mapred.MapTask: Finished spill 0 
13/08/15 16:43:34 INFO mapred.Task: Task:attempt_local_0001_m_004609_0 is done. And is in the process of commiting

작동하지 않아 mapred-site.xml 스키마에 속성을 추가했지만 위와 같은 결과가 나타납니다.

누구든지 나에게 무엇을 제안해야합니까?

미리 감사드립니다. 당신이 램을 넣다

하크

출처

2013-08-15 rafique haque

? 'mapred-site.xml'을 변경 한 노드에서 어떤 서비스가 실행되고 있었습니까? –

감사합니다. 내 프로젝트는 큰 데이터 인 RDF 데이터를 정확하게 쿼리합니다. 근본적으로 작업 제출 작업을 수행하는 저장소를 사용하고 있습니다. 한 가지 중요한 점은 클러스터에 하나의 노드 만 있습니다. –

제출을 수행중인 '저장소'노드 - hadoop이 설치되어 있으며이 값은 구성 파일에 구성되어 있습니까? –

기사 here에 따라 io.sort.mb 10 * io.sort.factor을해야합니다.
"코어를 site.xml"

<property> 
<name>io.sort.factor</name> 
<value>100</value> 
<description>More streams merged at once while sorting files.</description> 
</property> 

<property> 
<name>io.sort.mb</name> 
<value>200</value> 
<description>Higher memory-limit while sorting data.</description> 
</property>

모든 노드에서 또한 변화하는 정렬 요인을 시도.

출처

2013-08-16 06:53:53

감사합니다 피터! 그것은 매우 유용한 제안이었습니다. 나는 Cloudera 사이트에서 제공하는 팁을 읽었지만, 확실히이 링크를 놓쳤습니다. 다시 한번 감사드립니다. –

이 conf의이 mapred-site.xml의 대신 코어를 site.xml에 있어야

은 참조 : 당신이에서 작업을 제출하는 http://hadoop.apache.org/docs/r1.0.4/mapred-default.html

출처

2014-04-10 02:37:37 linehrr

증가 io.sort.mb

답변

관련 문제