어쩌면 그 바보 같은 질문은 ...입니다 어쨌든 ...SecondaryNamenode 및 맵리 듀스 작업
어떻게 보조 네임 노드 뭔가 (나는 그것이 작동 뜻), 내가 뭔가를 구성해야합니까 이해 것인가?
MapReduce의 작업도 기본적으로 병렬로 실행됩니다. 즉, MR에서 프로그래밍하는 프로그램은 항상 병렬로 실행됩니까?
hadoop에서 병렬로 실행되는 작업을 증명해야하기 때문에 (나는해야 할 프로젝트가 있습니다) 이러한 질문을 던집니다.
미리 감사드립니다.
P .: 죄송합니다. 영어가 유감스럽고, 이해할 수 있기를 바랍니다.
너는 하둡을 구성 할 때 어떤 기계의 hostname을 /conf/masters에 넣는다. SNN이 실행되는 곳입니다. 그 기계의 터미널로 가서 JPS를 발행 할 수 있습니다. 그러면 현재 실행중인 모든 Java 처리가 표시됩니다. 다른 프로세스와 함께 SecondaryNameNode를 볼 수 있어야합니다. 이 같은 것을 :
[email protected]:~$ jps
21615 TaskTracker
21268 SecondaryNameNode
21014 DataNode
27656 HRegionServer
21362 JobTracker
19908 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar
17643 Jps
27364 HMaster
28451 Main
27194 HQuorumPeer
29811 RunJar
20744 NameNode
다른 기계로 변경하여 효과를 확인할 수 있습니다. 또는 기본적으로 50090 인 SNN 포트를 통해 확인할 수 있습니다. 그것은 의미가 있습니까?
MR 작업을 실행할 때 웹 브라우저를 jobtracker_machine:50030으로 지정하여 mapreduce webUI을 열 수 있습니다. 여기서 특정 작업에 대해 생성 된 전체 매퍼/축소 기 수와 함께 실행중인 모든 작업 목록 (이전에 실행 한 작업 목록)을 볼 수 있습니다. 작업을 클릭하면 클러스터에 현재 실행중인 모든 매퍼와 축소 기가 표시됩니다. 저기 각 매퍼/감속기의 진행 상황을 볼 수 있습니다. 이러한 모든 매퍼/리듀서는 서로 다른 기계에서 병렬로 실행됩니다. 각 매퍼를 클릭 할 수 있는지 확인하기 위해 각 매퍼/감속기의 완료율과 함께 해당 매퍼/감속기가 실행중인 시스템이 표시됩니다.
HTH 내가 유일한 마스터의 호스트 이름을 퍼트 한'/ conf의/masters'of 모든 노드에 세 개의 노드, 1 개 마스터 (마스터가 너무 슬레이브)과 두 노예를 가지고 ... 사람이 감사합니다. 너 내가 노예도 호스트 이름을 넣어야한다는 것을 의미합니까? – Yon
당신은 오신 것을 환영합니다. 아니요. 종속 컴퓨터의 호스트 이름은/conf/slave에서만 필요합니다. 현재 설정에 따라 SNN이 마스터 시스템에서 실행 중입니다./conf/masters는 SNN 만 지정하는 데 필요합니다. – Tariq
그래서 나는 그걸로 괜찮아 ... 나는 너에게 남자를위한 또 다른 질문이있다. 왜냐하면 나는 가상의 모드와 클러스터의 전체 모드의 차이점이있다. 의사 모드는 단일 모드와 동일합니다. 다시 한번 감사드립니다! – Yon