내가 추가 할 클러스터

Question

를 다시 시작하지 않고 하둡 mapred-site.xml 파일의 구성 매개 변수를 업데이트하는 방법/하둡에서 다음 매개 변수를 mapred-site.xml 파일에

<property> 
    <name>mapred.map.tasks.speculative.execution</name> 
    <value>false</value> 
    </property> 

를 업데이트합니다. 클러스터를 다시 시작하지 않고 어떻게이 작업을 수행 할 수 있습니까?

Answer 1

이 작업은 작업 구성에서 설정할 수 있습니다. 이 동작을 전역으로 변경하려면 클러스터를 다시 시작해야합니다. 다시 시작하지 않고 변경하는 방법은 없습니다.

Answer 2

는 Hadoop - The Definitive Guide

에 따르면 클라이언트 구성에 설정하면 일부 속성이 아무런 효과가 없다는 것을 알고 있어야합니다. 예를 들어 작업 제출에서 mapred.tasktracker.map.tasks.maximum을 설정하면 작업을 실행하는 작업 추적자의 작업 슬롯 수가 변경 될 것이라는 예상과 함께이 속성은 다음과 같은 경우에만 적용되기 때문에 실망하게됩니다. tasktracker의 mapred-site.xml 파일에서 설정합니다. 일반적으로 구성 요소에게 이름으로 속성을 설정해야하는 위치를 지정할 수 있으므로 mapred.tasktracker.map.tasks.maximum이 mapred.tasktracker로 시작한다는 사실은 tasktracker 데몬에만 설정할 수 있다는 사실을 알려줍니다 . 그러나 이것은 어렵고 빠른 규칙이 아니므로, 시행 착오에 의지하거나 출처를 읽을 필요가있을 수도 있습니다. 클라이언트 측에서 영광 특정 작업입니다되어

속성은 필요를하지 클러스터를 다시 시작 할 수 있지만, mapred.tasktracker.map.tasks.maximum 같은 다른 한편으로 클러스터 별 구성에서 클러스터를 필요로 다시 시작할 수 있습니다.

Answer 3

MRv2 (리소스 예약 용 YARN)를 사용하는 경우 mapred-site.xml 파일의 변경 사항은 작업을 제출할 때마다 읽히며 모든 구성은 작업 구성 xml 파일로 저장됩니다 (작업이 클러스터로 제출됩니다). 서비스를 다시 시작할 필요가 없습니다.