HDFS에 따르면 파일은 아직 열리지 만 프로세스 쓰기가 종료되었다고합니다

Question

저는 hadoop을 처음 사용하고 있으며 지난 몇 시간 동안이 문제를 Google에 보냈지만 도움이되는 정보는 찾을 수 없었습니다. 내 문제는 HDFS에 의하면 파일을 쓰는 과정이 오래 전에 끝났다고하더라도 파일이 아직 열려 있다고합니다. 이로 인해 파일에서 읽을 수 없습니다.

나는 디렉토리에서 fsck를 실행했으며 모든 것이 정상이라고보고합니다. 그러나 나는 "하둡 fsck를 -fs HDFS를 : // 하둡/로그/원료/directory_containing_file -openforwrite"를 실행했을 때 얻을 내가 openforwrite입니다 파일에 다시 fsck 명령을 수행

Status: CORRUPT 
Total size: 222506775716 B 
Total dirs: 0 
Total files: 630 
Total blocks (validated): 3642 (avg. block size 61094666 B) 
    ******************************** 
    CORRUPT FILES: 1 
    MISSING BLOCKS: 1 
    MISSING SIZE:  30366208 B 
    ******************************** 
Minimally replicated blocks: 3641 (99.97254 %) 
Over-replicated blocks: 0 (0.0 %) 
Under-replicated blocks: 0 (0.0 %) 
Mis-replicated blocks:  0 (0.0 %) 
Default replication factor: 2 
Average block replication: 2.9991763 
Corrupt blocks:  0 
Missing replicas:  0 (0.0 %) 
Number of data-nodes:  23 
Number of racks:  1 

얻을

.Status: HEALTHY 
Total size: 793208051 B 
Total dirs: 0 
Total files: 1 
Total blocks (validated): 12 (avg. block size 66100670 B) 
Minimally replicated blocks: 12 (100.0 %) 
Over-replicated blocks: 0 (0.0 %) 
Under-replicated blocks: 0 (0.0 %) 
Mis-replicated blocks:  0 (0.0 %) 
Default replication factor: 2 
Average block replication: 3.0 
Corrupt blocks:  0 
Missing replicas:  0 (0.0 %) 
Number of data-nodes:  23 
Number of racks:  1 

누구에게 무슨 일이 일어나고 있고 어떻게 해결할 수 있는지 아이디어가 있습니까?

Answer 1

namenode 서버를 일시적으로 사용할 수 없어 해당 블록의 파일 시스템이 손상되어 블록이 누락 된 것으로 파악되었습니다. 누락 된 블록이없는 파일의 일부가 여전히 읽기/복사 될 수 있습니다. HDFS의 손상 처리에 좀 더 정보가 https://twiki.grid.iu.edu/bin/view/Storage/HadoopRecovery에서 확인할 수있다 (거울 : http://www.webcitation.org/5xMTitU0r)

편집 :이 문제가 (더 구체적으로 또는 학자에 의해 사용되는 DFSClient) 필 기사 쓰기를 시도 할 때 걸려 문제 때문이었다 보인다 HDFS로. HADOOP-6099 및 HDFS-278을 사용하여 hadoop 클러스터의 소스를 수동으로 패치하고 바이너리를 다시 빌드 한 다음 새 버전으로 클러스터를 다시 시작했습니다. 우리가 새 버전을 사용하여 실행 한 2 개월 동안에는 아무런 문제도 없었습니다.