UNIX에서 동일한 파일 제거

Question

크기가 약 10MB 인 대량의 파일 (30,000 개)을 다루고 있습니다. 그들 중 일부는 (나는 2 %로 추정한다.) 실제로 복제되고, 나는 모든 복제 쌍 (또는 트리플렛)에 대해서만 사본을 보관해야한다. 효율적인 방법을 제안 해 주시겠습니까? 나는 유닉스에서 일하고있다.

감사합니다 :-)

Answer 1

모든 파일의 해시를 생성하는 스크립트를 작성합니다. 집합에 해시를 저장하고 파일을 반복하며 파일이 이미 세트에서 발견 된 값으로 해시되는 경우 파일을 삭제할 수 있습니다. 이것은 예를 들어 파이썬에서하는 일은 간단합니다.

해시 테이블 항목 당 64 바이트 인 30,000 개의 파일에 대해 약 200MB 만보고 있습니다.

Answer 2

먼저 파일 크기를 비교 한 다음 MD5 체크섬 (물론 캐싱)을 수행하는 스크립트를 작성하고 데이터 손실에 대해 매우 염려하면 글 머리 기호를 물어보고 실제로 중복 된 바이트를 바이트 단위로 비교합니다. 파일이 어떻게 생겼는지에 대한 추가 지식이 없으면 훨씬 더 효율적으로 처리 할 수 ​​없습니다.

Answer 3

가능한 중복 파일 찾기 :

find DIR -type f -exec sha1sum "{}" \; | sort | uniq -d -w40 

지금 당신이 파일이 실제로 동일한 지 확인 cmp를 사용할 수 있습니다.

Answer 4

이 조각을 제거하기 전에 모든 복제물을 먼저 가져올 수 있습니다. 배열의

find /path -type f -print0 | xargs -0 sha512sum | awk '($1 in seen){print "duplicate: "$2" and "seen[$1] }(!($1 in seen)){seen[$1]=$2}' 

Answer 5

저장 모든 파일 이름은 각 반복 명령 '을 사용하여 다른 파일 내용으로 파일 내용을 비교 .IN 배열을 통과 그 다음 파일을 제거 동일 md5sum'.If 그 때는.

예를 들어 여기서 'b'파일은 'a'파일의 복사본입니다. 따라서 md5sum은 두 파일에서 동일합니다.