중복 된 이미지 파일을 감지 할 수 있습니까?

Question

제품에 대해 10K 이상의 파일을 가지고 있습니다. 문제는 많은 이미지가 중복 된 것입니다.

이미지가 없으면 '이미지 없음'이라는 표준 이미지가 있습니다.

이미지가이 표준 '이미지 없음'이미지 파일인지 어떻게 알 수 있습니까?

업데이트 이미지는 다른 이름이지만 그렇지 않은 경우 정확히 동일한 이미지입니다.

사람들이 해시를 말하고 있습니다.

im = cStringIO.StringIO(file.read()) 
img = im.open(im) 
md5.md5(img) 

Answer 1

나는이 잠시 다시에 대한 스크립트를 썼습니다. 처음에는 모든 파일을 검색하고 사전에 크기를 표시합니다. 당신은 endup로 :

images[some_size] = ['x/a.jpg', 'b/f.jpg', 'n/q.jpg'] 
images[some_other_size] = ['q/b.jpg'] 

그런 다음, 사전에 1 개 이상의 요소가있어 각각의 키 (이미지 크기), 나는 파일의 일부 고정 금액을 읽고 해시를 할 것입니다. 다음과 같이하십시오 :

possible_dupes = [size for size in images if len(images[size]) > 1] 
for size in possible_dupes: 
    hashes = defaultdict(list) 
    for fname in images[size]: 
     m = md5.new() 
     hashes[ m.update(file(fname,'rb').read(10000)).digest() ] = fname 
    for k in hashes: 
     if len(hashes[k]) <= 1: continue 
     for fname in hashes[k][1:]: 
      os.remove(fname) 

이것은 내 머리 꼭대기에서 벗어났습니다. 코드를 테스트하지 않았지만 아이디어를 얻었습니다.

Answer 2

동일한 이미지 데이터에 대해 동일한 이미지를 사용한다고 가정합니다.

"no image"이미지의 hash을 계산하여 다른 이미지의 해시와 비교하십시오. 해시가 같으면 동일한 파일입니다.

Answer 3

해시합니다. 충돌은 중복입니다 (적어도 동일한 파일이 아니라는 것은 수학적으로 불가능합니다).

Answer 4

특정 이미지의 정확한 중복을 찾으려면이 이미지를 메모리에로드 한 다음 이미지 컬렉션을 반복하십시오. 같은 크기가 아닌 파일은 건너 뜁니다. 동일한 크기를 가진 파일의 내용을 비교하여 첫 번째 차이점에서 멈 춥니 다.

첫 번째 차이점에서 멈출 수없는 대신 각 파일을 메모리로 완전히 읽고 CPU 집중적 인 작업을 수행해야하기 때문에이 상황에서 해시를 계산하는 것은 실제로 비생산적입니다.

중복 집합이 여러 개인 경우 각 파일의 해시 계산이 더 좋습니다.

시각적으로 가까운 복제물을 찾고있는 경우 findimagedupes을 사용하면 도움이됩니다.

Answer 5

이미지의 경우 사이드 위와 마찬가지로 래스터 데이터 해시가 파일 해시보다 훨씬 효율적이라는 것을 알았습니다.

ImageMagick은 이러한 해시를 계산할 수있는 신뢰할 수있는 방법을 제공하며, 파이썬에 사용할 수있는 다른 바인딩이 있습니다. 다양한 무손실 압축 및 다른 메타 데이터로 동일한 이미지를 감지하는 데 도움이됩니다.

사용 예 :

>>> import PythonMagick 
>>> img = PythonMagick.Image("image.png") 
>>> img.signature() 
'e11cfe58244d7cf98a79bfdc012857a9391249dca3aedfc0fde4528eed7f7ba7'