hdfs에서 블록 크기보다 큰 파일 쓰기

Question

HDFS 블록 크기가 128MB 인 200MB의 파일을 HDFS에 쓰려고하는 경우. 200MB에서 150MB를 쓴 후에 쓰기가 실패하면 어떻게됩니까? 작성된 데이터 부분에서 데이터를 읽을 수 있습니까? 같은 파일을 다시 작성하려고하면 어떻게됩니까? 그게 복제물일까요? 실패하기 전에 작성된 150MB의 데이터는 어떻게됩니까? 쓰는 동안 실패하면

Answer 1

HDFS 기본 블록 크기, 128메가바이트입니다 (파일 확장자 복사와 함께, 그것은 하둡 관리 UI의 상태를 표시합니다.)

• 만 1백50메가바이트 데이터가 복사됩니다.

• 네, 데이터의 일부만 읽을 수 있습니다 (150MB).

• 복사를 다시 시작하면 이전 시점부터 계속됩니다 (경로가 같고 파일 이름이 동일한 경우).

• 모든 데이터에 대해 복제 요소를 기반으로 복제를 찾을 수 있습니다.

• 이전에 작성된 데이터는 HDFS에서 사용할 수 있습니다.