Bash에서 많은 수의 파일을 빠르게 비교하기

Question

웹 사이트에서 많은 파일 (~ 10,000)을 다운로드했으며, 대부분은 같은 말을하는 쓸데없는 html입니다. 그러나이 건초 더미에는 유용한 정보가있는 파일이 있으며 (따라서 상당히 다른 파일입니다) 나머지 파일과는 구분하기위한 빠른 방법이 필요합니다. 나는 모든 파일을 하나씩 검토하고 cmp를 사용하여 템플릿과 비교하고 템플릿이 동일한 지 확인하고 삭제할 수 있음을 알고 있습니다. 그러나 이것은 다소 느립니다. 이 작업을 수행하는 더 빠른 방법이 있습니까? 99 % 회복율 만 있다면 괜찮습니다.

Answer 1

이것은 하나의 인수로 전달 된 트리에서 고유 한 파일을 나열

#!/bin/bash 
declare -A uniques 
while IFS= read -r file; do 
    [[ ! "${uniques[${file%% *}]}" ]] && uniques[${file%% *}]="${file##* }" 
done< <(find "$1" -type f -exec md5sum -b "{}" \;) 

for file in ${uniques[@]}; do 
    echo "$file" 
done 

많은 감사를 md5sum이를 사용하여 더 나은 접근 방식 triplee하기!

이전 버전 :

#!/bin/bash 
declare -a files uniques 

while IFS= read -r -d $'\0' file; do 
    files[${#files[@]}]="$file" 
done< <(find "$1" -type f -print0) 

uniques=(${files[@]}) 
for file in "${files[@]}"; do 
    for unique in "${!uniques[@]}"; do 
     [[ "$file" != "${uniques[$unique]}" ]] && cmp -s "$file" "${uniques[$unique]}" && && unset -v uniques[$unique] 
    done 
done 

for unique in "${uniques[@]}"; do 
    echo "$unique" 
done 

Answer 2

가정하면 모든 파일이 현재 디렉토리 또는 그 아래에, 그리고 템플릿은 상위 디렉토리에 있으며, 파일 이름은 공백이 없다 : 당신이 만족하는 경우

find . -type f -print | while read -r filename; do 
    if ! cmp --quiet $filename ../template; then 
    echo rm $filename 
    fi 
done 

이 "에코"제거를 공장.