2014-02-10 2 views
0

로컬 FS에있는 데이터와 Hadoop에있는 데이터를 비교하려고합니다 (diff는 Hadoop에서 작동하지 않습니다) 우리가 작업하고있는 데이터가 거대하기 때문에 'hadoop fs -copyToLocal '비교해 보라. (로컬 저장소를 빠르게 채울 것이므로)Hadoop에서 diff를 구현하는 방법은 무엇입니까?

Local FS와 Hadoop FS 사이의 데이터를 비교하는 데 도움이되는 도구가 있습니까?

+0

입니까? 그것은 텍스트 파일 또는 시퀀스 파일입니까? 압축 된 파일입니까? – alexeipab

+0

하나의 파일입니까, 아니면 서브 디렉토리가있는 디렉토리입니까? 자바 코드를 작성해 주시겠습니까? – alexeipab

답변

0

사용 - DIFF LocalFile에 < (하둡 때 fs - 고양이/HadoopFilePath/파일)이 파일이 어떤 종류의

관련 문제