로컬로 클러스터를 시뮬레이션하는 Hadoop Framework

Question

Linux 또는 Windows 머신에서 전체 클러스터를 로컬로 시뮬레이션 할 수있는 Hadoop 프레임 워크가 있습니까? DFS는 데이터를 로컬에서 복제 할 수 있으며 Compute 계층은 병렬 실행을 수행합니까? 이와 유사한 프레임 워크가 있습니까?

Answer 1

하나 이상의 가상 시스템에 Hadoop을 설치할 수 있습니다. 예 : Cloudera는 자사의 Hadoop 배포판이 미리 설치된 downloadable VM을 제공합니다

Answer 2

Reference : 루멘은 MapReduce 용으로 작성된 데이터 추출 및 분석 도구입니다. 제 1 위의 JobHistory는 의미있는 데이터를 추출하여 쉽게 파싱 된 형식으로 저장합니다. 루멘은 시뮬레이션, 에뮬레이션 및 벤치마킹과 같은 작업을 수행하는 다른 도구로 JobHistory 로그에서 채취 한 정보에 대한 통계 분석을 수행합니다. 루멘은 GridMix (v3) 및 Mumak을위한 토대를 형성합니다.

Reference : 다른 새로운 contrib 모듈에는 MapReduce 모델링 도구 인 Rumen (MAPREDUCE-751) 및 Mumak (MAPREDUCE-728)이 포함됩니다. 이 두 가지는 함께 작동하도록 설계되었습니다. 루멘은 과거 로그에서 작업 데이터를 추출한 다음 Mumak이 클러스터의 MapReduce 응용 프로그램 및 클러스터를 시뮬레이트하는 데 사용합니다. Gridmix3은 또한 제 1 위 트레이스와 함께 작동하도록 설계되었습니다. 작업 내역 로그 분석기는 MapReduce 클러스터 활용 (HDFS-459)에 대한 정보를 제공하는 또 다른 도구입니다.

샘플 Rumen 데이터는 SVN 형식입니다. FYI, Rumen 및 Mumak은 contrib 모듈이며 사용할 수있는 설명서가 많지 않습니다. 여기에 GridMix에 대한 멋진 기사가 있습니다.