다중 노드 Hadoop 클러스터의 HDFS 스트레스 테스트

Question

다중 노드 Hadoop 클러스터를 설정했습니다. MR을 사용하지 않고 HDFS의 성능을 테스트하려고합니다. Hadoop 테스트 용기에 그런 벤치 마크가 있습니까?

감사

Answer 1

TestDFSIO :

1. 기본 출력 디렉토리는
2. 실행 쓰기 테스트 읽기 테스트

쓰기를 실행하기위한 구문을하기 전에/TestDFSIO/벤치 마크입니다 시험은 다음과 같습니다 :

,

TestDFSIO.0.0.4 
Usage: hadoop jar $HADOOP_HOME/hadoop-*test*.jar TestDFSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-resFile resultFileName] [-bufferSize Bytes] 

예 : 10기가바이트 총 크기가 1GB를 10 개 출력 파일을 생성하는 기록 테스트를 수행하기위한 명령은 다음

$ hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

유사하게, 10 개의 입력 파일 사이즈는 1GB를 사용하여 시험을 읽어

$ hadoop jar hadoop-*test*.jar TestDFSIO -read -nrFiles 10 -fileSize 1000 

정리 및 사용하여 테스트 데이터를 제거합니다 :이다 $ hadoop jar hadoop-*test*.jar TestDFSIO -clean

해석 TestDFSIO 결과 :

샘플 : 여기

----- TestDFSIO ----- : write 
      Date & time: Fri Apr 08 2011 
     Number of files: 1000 
Total MBytes processed: 1000000 
    Throughput mb/sec: 4.989 
Average IO rate mb/sec: 5.185 
IO rate std deviation: 0.960 
    Test exec time sec: 1113.53 

----- TestDFSIO ----- : read 
      Date & time: Fri Apr 08 2011 
     Number of files: 1000 
Total MBytes processed: 1000000 
    Throughput mb/sec: 11.349 
Average IO rate mb/sec: 22.341 
IO rate std deviation: 119.231 
    Test exec time sec: 544.842 

가장 주목할만한 통계는 처리량 MB/초 및 평균 IO 속도 MB/초 있습니다.

Source