하둡의 임의 데이터 생성 크기 변경

RandomWriter 함수를 사용하여 Hadoop에서 정렬 예제를 실행 중입니다. 이 특정 기능은 Map/Reduce를 사용하여 DFS에 무작위 데이터/호스트 10 기가 (기본값)를 씁니다.하둡의 임의 데이터 생성 크기 변경

bin/hadoop jar hadoop-*-examples.jar randomwriter <out-dir>.

아무도 어떻게 RandomWriter의 크기 10GB를 변경할 수 있습니까?

출처

2014-02-26 user2805242

는 소스 코드 봤어이다 http://svn.apache.org/viewvc/hadoop/common/trunk/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/RandomWriter.java?view=markup

에 그들을보고? –

나는 hadoop과 java에서 순진하다. randomwriter 클래스 파일을 포함하는 hadoop - * - example.jar의 .jar 파일 만 있다고 생각합니다. – user2805242

이 예제에는 몇 가지 구성 가능한 매개 변수가 있습니다. 이 매개 변수는 설정 파일의 jar에 지정됩니다.

bin/hadoop jar hadoop-*-examples.jar randomwriter <out-dir> [<configuration file>]

을 (설정 파일을 납품)로 사용 실행하거나 모든 구성 매개 변수에 대한 자세한 내용은

bin/hadoop jar hadoop-*-examples.jar randomwriter 
-Dtest.randomwrite.bytes_per_map=<value> 
-Dtest.randomwriter.maps_per_host=<value> <out-dir> [<configuration file>]

로 매개 변수를 실행하려면 다음을 참조하십시오 https://wiki.apache.org/hadoop/RandomWriter 하둡 2에

출처

2014-02-27 09:56:23

(적어도 2.7.2 버전에서) 속성은 이제 mapreduce.randomwriter.mapsperhost 및 mapreduce.randomwriter.bytespermap입니다.

당신이 할 수있는 그래서 최근 하둡 2 버전에 대한 정답은

bin/hadoop jar hadoop-*-examples.jar randomwriter 
-Dmapreduce.randomwriter.bytespermap=<value> 
-Dmapreduce.randomwriter.mapsperhost=<value> <out-dir> [<configuration file>]

출처

2016-12-27 11:30:05 loicmathieu

하둡의 임의 데이터 생성 크기 변경

답변

관련 문제