yourkit으로 hadoop 작업을 프로파일하는 방법

Question

내 hadoop 작업의 메모리 사용량을 프로파일 링하려고합니다.

누군가가 설치를 포함하여 yourkit으로 hadoop 작업을 모니터링하는 방법에 대한 단계별 방법을 제공 할 수 있습니까?

Answer 1

당신이 당신의 mapred-site.xml 파일에 다음 항목을 추가하기 만하면됩니다 (이 $ HADOOP_HOME/conf의 /, $ HADOOP_HOME이 하둡 설치 디렉토리가에있는 경우) :

<property> 
    <name>mapred.child.java.opts</name> 
    <value> 
-agentpath:{yourkit installation directory}/bin/linux-x86-64/libyjpagent.so=tracing,dir={output directory} 
</value> 
</property> 

당신이 리눅스 x86-64에 다른 플랫폼에서 실행하는 경우

당신은 filer 에이전트

에 here 나열된 옵션을 전달할 수 있습니다, 당신은 당신의 플랫폼 (자세한 내용은 this 참조)에 맞게 값 이상으로 변경해야 할 수 있습니다

그러면 지정된 출력 디렉토리에있는 각 하위 프로세스에 대해 하나씩 여러 스냅 샷이 생성됩니다.