2014-10-17 5 views
2

hdfs 파일을 유닉스 파일과 비교하고 싶습니다. cat 명령을 사용하는 한 가지 방법은 Hadoop 분산 파일 시스템 (HDFS)에서 제공하는 cat 명령 때문에 파일을 비교할 수 있습니다. hdfs 파일을 유닉스 파일과 비교하는 방법은 무엇입니까?

은의 한 예를 보자 :
# hdfs dfs -ls -R /demo 

-rw-r--r-- 3 root hdfs  129617 2014-10-17 12:22 /demo/abc.log 

#ls /tmp 
xyz.log 

여기 내가 xyz.logabc.log을 비교합니다. 어떤 더 좋은 접근 ??

답변

2

아마도 쉘 리다이렉션 + diff를 사용할 수 있습니다.

diff <(hdfs dfs -cat /demo/abc.log) <(cat /tmp/xyz.log) 
cat 명령을 사용하지 뒤에
+0

홈페이지 이유는 내가 고양이 또는 다음 콘솔 내 생각 – ni3

+0

에 파일 내용 또는 예상 출력을 받고 HDFS 그럼 내가 몇 가지 오류가 또는 물건의 종류를 경고하는데에 어떤 명령을 실행하고있을 때 당신은 그 경우에 몇 가지 다른 일을 할 수 있습니다. stderr을 hdfs 명령에서/dev/null로 재 지정할 수 있습니다. hdfs를 실행할 때 경고의 원인을 해결할 수 있습니다. 또는 hadoop 라이브러리를 사용하여 줄 단위 읽기/비교를 수행 할 수 있습니다. 세 가지 중 하나가 작동해야합니다. :) – Anthony

+0

먼저 답장을 보내 주셔서 감사합니다. stderr를/dev/null로 리다이렉트하는 것은 필자의 경우에는 작동하지 않는다. 또한 줄 단위로 읽어야한다. hadoop 라이브러리를 통해이 라이브러리를 읽는다. 필자가 원하지 않는 별도의 자바 프로그램을 작성해야한다. 기본적으로이 두 파일을 비교하기위한 python 스크립트를 작성하고 있습니다. – ni3

관련 문제