Hadoop 클러스터에서 mapreduce jar 실행

Question

지도를 실행하려고하는데 Hadoop에서 2 차 체 알고리즘을 구현하려고합니다. 이 목적을 위해 Netbeans와 karmasphere Hadoop 커뮤니티 플러그인을 사용하고 있습니다. 프로그램은 플러그인을 사용하여 잘 작동합니다. 하지만 실제 클러스터에서 실행할 수 없습니다. 내가이 명령을 실행하고있어 MRIF.jar는 넷빈즈 프로젝트를 구축하고 689이 고려 될 수있다 만든 jar 파일입니다

   bin/hadoop jar MRIF.jar 689 

. 입력 및 출력 디렉토리는 프로그램 자체에 하드 코딩되어 있습니다. 실제 클러스터에서 실행 중일 때 내부 Java 클래스는 맵이 0 % 자체가되기 전에 reduce 완료가 100 %로 처리되지 않는 것처럼 보입니다. 그리고 입력 및 출력 파일은 내용없이 생성됩니다.

하지만 Karmasphere 플러그인을 사용하여 실행하면 정상적으로 작동합니다.

Answer 1

bin/hadoop -jar MRIF.jar 689으로 실행 해보십시오. -jar은 강제로 로컬로 실행하고 콘솔에 정보를 표시하고 해당 시스템에 로그를 보냅니다. Hadoop 로그를 확인하여 올바르게 발생하지 않는 이유에 대한 지표가 있는지 확인할 수도 있습니다.

-jar을 사용하는 경우 System.out.println(...);을 사용하면 콘솔에 정보를 표시 할 수 있으므로 디버깅에 도움이됩니다.

Hadoop Counters (링크는 임의의 블로그 게시물입니다.)을 사용하면 분산 (psuedo-)을 실행할 때 문제를 해결할 수 있습니다.

나는이 게시물이 문제의 '해결책'이 아니라고 인정합니다. 무슨 일이 일어나고 있는지에 대한 더 이상의 정보가 없으면 어디서나 진행될 수있는 다양한 일이 있습니다. 만약 당신이 언급했듯이, '내부 자바 클래스'를 처리하지 않는다면, 그것은 당신의 구현 일 것입니다. 그 중 우리는 제안을 할 수 없습니다.

로그, 오류 또는 출력과 같은 문제에 대한 추가 데이터가 디버깅 팁 대신 더 많은 solution-y 응답을 얻는 데 도움이 될 것입니다. :)

편집 : 파일 링크를 제공해 주셔서 감사합니다. 너의 전화에는 구성 요소가 빠져 있다고 생각해.

은 내가 run.sh에 보니이 당신을 위해 일을 얻을 수 있습니다 생각 : 그 경우에 수행 할 수 있습니다 writing.What의 파일을 여는 동안

bin/hadoop jar mrif.jar com.javiertordable.mrif.MapReduceQuadraticSieve 689