Hadoop에서 매퍼/축소 기의 수를 변경하려면 어떻게해야합니까? 이상한 이유로 mapred.tasttracker.map.tasks.maximum 및 mapred.tasttracker.reduce.tasks.maximum은 mapred-site.xml에 없습니다. dse-mapred-default.xml에서 이러한 설정을 찾을 수 있었지만 XML이 열리면이 파일에서 설정을 편집해서는 안되며 mapred-site에서 속성을 재정의해야한다는 것을 나타내는 메모가 있습니다. xml.DataStax Enterprise의 축소판/매퍼 수를 변경하십시오.
mapred-site.xml에 두 가지 설정을 추가하고 Hadoop을 다시 시작했지만 dse-mapred-default.xml에서 번호가 업데이트 될 것으로 예상했지만 행운이 없었습니다.
누군가이 문제를 해결해 주시겠습니까?
감사 마드
그것은하지 mapred.tasttracker.map.tasks.maximum하지만 mapred.tasktracker.map.tasks.maximum입니다. 나는 그것이 오타 일 뿐이므로 올바른 설정 이름을 사용했기를 바랍니다.
시작시 DSE는 dse-mapred-default.xml 및 dse-core-default.xml 파일을 만들고 로컬 OS 구성 및 하드웨어에 맞게 기본값으로 채 웁니다. 이는 주로 Hadoop 자동 튜닝 기능과 보안이 활성화 된 Hadoop 구성을 단순화하기위한 것입니다. 그런 다음 하둡로드는 다음과 같은 순서로 파일을 config (설정) :
나중에로드되는 파일의 설정은 이전에로드 된 설정보다 우선합니다. 구성의 최종 상태는 이 아니며이 기본값이있는 파일에 다시 쓰여지지 않습니다. mapred-site.xml의 설정을 dse-mapred-default.xml 파일에 복사해야합니다.
마지막 설정이 무엇인지, 그리고 설정이 제대로되어 있는지 여부가 확실치 않으면 작업을 실행하고 hadoop 로그 디렉토리를보고 job_xxxxxxxxxxxx_xxxx_conf.xml 패턴과 일치하는 파일을 검색하십시오. 여기서 x는 숫자입니다. jobtracker HTTP 콘솔에서 최종 구성을 볼 수도 있습니다.
감사합니다. Piotr. 로그가 실제로 설정이 적용되었는지 확인합니다. 한가지 더 부탁드립니다. 돼지에서 덤프를하면 콘솔에 다음 메시지가 표시됩니다. 시도 _201310141552_0001_m_000000_0 NaN % 정보 15 : 55 : 33,801 시도 _201310141552_0001_m_000000_0 NaN % 정보 15 : 55 : 36,860 5 노드 Hadoop 클러스터에 500k 개 항목이 있습니다. 왜 이런 일이 일어나는 지 아십니까? – Mskh
나는 잘 모른다. 재현하기위한 모든 단계를 포함한 다른 질문을 할 수 있습니다. BTW : 유용한 정보를 찾으면 유용하다고 표시하십시오. –