MapReduce 작업이 수락 상태로 고정됨

Question

실행하려는 자체 MapReduce 코드가 있지만 Accepted 상태로 유지됩니다. 내가 이전에 실행했고 성공한 다른 샘플 MR 작업을 실행 해 보았습니다. 그러나 이제는 두 가지 작업이 수락 됨 상태가됩니다. 나는 here과 here과 같이 mapred-site.xml과 yarn-site.xml에서 다양한 속성을 변경해 보았지만 도움이되지 않았습니다. 누군가 잘못 될 가능성이 있음을 지적 할 수 있습니까? 나는 하둡-2.2.0 나는 다양한 속성에 대한 여러 값을 시도했습니다

는 여기에 한 세트의 실 현장에서 mapred-site.xml의

<property> 
<name>mapreduce.job.tracker</name> 
<value>localhost:54311</value> 
</property> 

<property> 
<name>mapreduce.job.tracker.reserved.physicalmemory.mb</name> 
<value></value> 
</property> 

<property> 
<name>mapreduce.map.memory.mb</name> 
<value>256</value> 
</property> 

<property> 
<name>mapreduce.reduce.memory.mb</name> 
<value>256</value> 
</property> 


<property> 
<name>yarn.app.mapreduce.am.resource.mb</name> 
<value>400</value> 
<source>mapred-site.xml</source> 
</property> 

에서 values-이다 사용하고 있습니다. xml

<property> 
<name>yarn.nodemanager.resource.memory-mb</name> 
<value>400</value> 
<source>yarn-site.xml</source> 
</property> 
<property> 
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name> 
<value>.3</value> 
</property> 

Answer 1

동일한 효과가 있었기 때문에 시스템에 작업자 노드 당 사용 가능한 메모리가 많아지고 응용 프로그램에 필요한 메모리가 줄어들 었다는 것을 알았습니다.

내 원사를 site.xml에서 나는 (내 아주 작은 실험 상자에)이 설정 :

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>2200</value> 
    <description>Amount of physical memory, in MB, that can be allocated for containers.</description> 
</property> 

<property> 
    <name>yarn.scheduler.minimum-allocation-mb</name> 
    <value>500</value> 
</property> 

Answer 2

블로그에 따라이 -이에 대한 매개 변수를 설정하는 방법을 자세히 설명 http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

YARN 컨테이너

Answer 3

동일한 문제가 있었는데 문제는 전체 하드 드라이브 (90 % 이상)였습니다. 청소 공간이 나를 구 했어요.

Answer 4

YARN의 accepted 상태는 일반적으로 무료 리소스로 충분하지 않기 때문에 중단되었습니다. 당신은 http://resourcemanager:port/cluster/scheduler에서 그것을 확인할 수 있습니다

1. Memory Used + Memory Reserved >= Memory Total 경우, 메모리 VCores Used + VCores Reserved >= VCores Total 경우
2. 것만으로는 충분하지 않습니다, VCores는 그것은 또한 maxAMShare과 같은 매개 변수에 의해 제한 될 수 있습니다

충분하지 않습니다.

Answer 5

나는 똑같은 문제에 직면했다. 그리고 위의 답변에서 언급 한 모든 구성을 변경했지만 여전히 유용하지 않았습니다. 이 후, 나는 나의 클러스터의 건강을 재확인했다. 거기에서, 나는 단 하나의 노드가 건강에 좋지 않은 상태에 있다는 것을 관찰했다. 문제는/tmp/hadoop-hadoopUser/nm-local-dir 디렉토리의 디스크 공간 부족 때문이었습니다. 포트 8032의 리소스 관리자 웹 UI에서 노드 상태를 확인하여 동일하게 확인할 수 있습니다.이를 해결하기 위해 yarn-site.xml에서 below 속성을 추가했습니다.

<property> 
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name> 
    <value>98.5</value> 
</property> 

내 하둡 데몬을 다시 시작하면, 노드 상태는 건강한로 변경되었다 및 작업