Hadoop으로 대규모 데이터 세트 시각화

Question

저는 Hadoop으로 대형 데이터 세트를 시각화하는 데 필요한 프레임 워크, 프레임 워크 조합, 모범 사례 또는 자습서를 찾고 있습니다.

저는 이 아닙니다.은 Hadoop 작업을 실행하거나 Hadoop에서 디스크 공간을 관리하는 메커니즘을 시각화하기위한 프레임 워크를 찾고 있습니다. 그래프 나 차트 등을 사용하여 HDFS 내에 포함 된 데이터를 시각화하기위한 접근법이나 지침을 찾고 있습니다.

예를 들어, HDFS에서 여러 파일에 데이터 포인트 세트가 저장되어 있다고 가정 해 봅시다. 데이터의 histogram을 표시합니다. 필자가 시도해 볼 수있는 커스텀 맵/삭감 작업을 작성하고, 어떤 점이 어느 버킷에 속하는지 계산하고, 합계를 파일에 기록한 다음 플로팅 라이브러리를 사용하여 시각화하는 유일한 방법은 무엇입니까?

맞춤 솔루션을 출시해야합니까, 아니면 이런 종류의 일을하는 다른 사람이 있습니까? 나는 온라인으로 보려고 노력했지만 직접적으로 이와 관련있는 것을 찾을 수 없었다.

당신의 도움이

Answer 1

우리는 Datameer에서 같은 것을 할 주셔서 감사합니다. 파일은 시각화에 도달하기 위해 몇 가지 처리 단계가 필요하지만 Hadoop에서 기본적으로 실행되므로 파일이 멀리 떨어져 있지 않습니다.