2009-11-19 4 views
1

hadoop에 파일이 쓰여지고 있는지 확인하는 방법이 있습니까? 예 - 로그를 hdfs에 넣는 프로세스가 있습니다. 나는 hdfs에 새로운 로그의 존재를 감시하는 또 다른 프로세스를 가지고있다. 그러나 나는 그것이 파일이 hdfs로 완전히 업로드되기 전에 처리하기 전에 그것을 확인하고 싶다. 이게 가능한가?hadoop- 파일이 쓰여지고 있는지 확인하십시오.

답변

1

파일이 현재 쓰여지고있는 경우 Hadoop 파일 시스템 API는 정보를 제공하지 않습니다. 그러나 문제의 파일 수정 시간을 확인할 수있는 임시 해결책이 있습니다. 어떤 시간 (예 : 20 분) 동안 쓰기가 발생하지 않으면 사본이 완료되었거나 종료되었다고 가정하는 것이 안전 할 것입니다.

관련 문제