Hadoop 분산 파일 시스템 대 분산 캐시

Question

Hadoop의 분산 파일 시스템 및 분산 캐시의 차이점은 무엇입니까?

Answer 1

Hadoop 분산 파일 시스템 (HDFS)과 같은 분산 파일 시스템은 많은 컴퓨터의 하드 디스크에 큰 파일 (또는 그 이상)을 저장할 수있는 아키텍처입니다. 각 기계는이 파일의 일부 (블록이라고 함)를 보유합니다. 대개 일부 기계가 고장 나면 각 블록이 여러 번 (기본적으로 3 번) 복제됩니다. 이 경우 다른 컴퓨터에서 복제본을 가져 와서 손실 된 블록을 복구 할 수 있습니다. 귀하의 PC도 File System이지만, 아마도 배포되지 않았을 것입니다. 파일이 계층 구조로 구성되고 저장되는 곳입니다.

분산 캐시는 작업이 실행되는 동안 모든 컴퓨터에 동일한 입력 파일을 제공하는 수단입니다. 이 /이 파일은이 컴퓨터의 메모리에로드됩니다. 예를 들어, 단어 수를 계산하지 않기를 원하는 불용어 목록이 있다고 가정 해보십시오. 그런 다음 각 MapReduce 작업의 시작 부분에이 불용어 파일을 모든지도 작업에 배포하고 이러한지도 작업이이를 읽으며 이러한 불용어 계산을 건너 뜁니다. 이렇게하면 모든 작업이 공통 입력 파일을 공유합니다. 작업이 끝나면 분산 캐시가 없습니다 ...

내 대답은 기술적으로 정확하지 않을 수도 있지만 올바른 직감을 제공하기를 바랍니다.