목록에서 이러한 중복 파일을 제거하는 방법 (파이썬)

Question

biglist = 

[ 

    {'title':'U2 Band','link':'u2.com'}, 
    {'title':'ABC Station','link':'abc.com'}, 
    {'title':'Live Concert by U2','link':'u2.com'} 

] 

"u2.com"이 중복되어 목록의 세 번째 요소를 제거하고 싶습니다. 중복 "링크"요소를 원하지 않습니다. 그것은이 결과 수 있도록이 작업을 수행 할 수있는 가장 효율적인 코드 란 :

biglist = 

[ 

    {'title':'U2','link':'u2.com'}, 
    {'title':'ABC','link':'abc.com'} 
] 

내가 사용하는 등 많은 방법을 시도 많은 중첩 "... 대한의 ..."그러나 이것은 매우 비효율적이며, 너무 오래.

Answer 1

:

그럼 당신은 다시이 같은리스트에 요소를 얻을 수 있습니다 과 같이, (파이썬 관용구 그대로 또는 오히려, 제거 중복으로 새로운 목록을 작성) :

는

# sort the list using the 'link' item as the sort key 
biglist.sort(key=lambda elt: elt['link']) 

newbiglist = [] 
for item in biglist: 
    if newbiglist == [] or item['link'] != newbiglist[-1]['link']: 
     newbiglist.append(item) 

이 코드는 "어떤 그룹에 대한 당신의 첫 번째 요소 (원래 biglist 상대 순서를) 줄 것이다 중복 ". 파이썬에서 사용하는 .sort() 알고리즘은 안정적인 정렬이 보장되어 있기 때문에 사실입니다. 즉, 동일한 (이 경우 link 인 요소) 동일한 것으로 결정된 요소의 순서는 변경되지 않습니다.

Answer 2

'u2.com'및 'abc.com'을 키로 사용하고 목록 요소를 값으로 사용하여 새 사전을 만듭니다. 사전은 고유성을 시행합니다. 이런 식으로 뭔가 :

uniquelist = dict((element['link'], element) for element in reversed(biglist)) 

(반전 된 목록의 첫 번째 요소는 사전에 남아있는 사람이 될 수 있도록 당신이 그것을 밖으로 가지고가는 경우에, 당신은 대신 마지막 요소를 얻을 것이다.). 다음 번 목록을 반복 및 중복 제거, 정렬 키 각 사전의 link 필드를 사용하여, 당신은 목록을 정렬 할 수 있습니다

biglist = uniquelist.values() 

Answer 3

biglist = \ 
[ 
    {'title':'U2 Band','link':'u2.com'}, 
    {'title':'ABC Station','link':'abc.com'}, 
    {'title':'Live Concert by U2','link':'u2.com'} 
] 

def dedupe(lst): 
    d = {} 
    for x in lst: 
     link = x["link"] 
     if link in d: 
      continue 
     d[link] = x 
    return d.values() 

lst = dedupe(biglist) 

dedupe()는 중복 된 것 중 첫 번째를 유지합니다.

biglist = [ 
    {'title':'U2 Band','link':'u2.com'}, 
    {'title':'ABC Station','link':'abc.com'}, 
    {'title':'Live Concert by U2','link':'u2.com'} 
] 

known_links = set() 
newlist = [] 

for d in biglist: 
    link = d['link'] 
    if link in known_links: continue 
    newlist.append(d) 
    known_links.add(link) 

biglist[:] = newlist 

Answer 4

정말 큰 목록에 대한 가장 빠른 방법은, 다음입니다 ... link에 의해, 그리고 당신이 원한다면 중복 제거.

from collections import defaultdict 

nodupes = defaultdict(list) 
for d in biglist: 
    nodupes[d['url']].append(d['title'] 

이것은 당신에게 줄 것이다 :

defaultdict(<type 'list'>, {'abc.com': ['ABC Station'], 'u2.com': ['U2 Band', 
'Live Concert by U2']}) 

Answer 5

당신은 그룹 항목에 defaultdict을 사용할 수 있습니다 : 당신이 남아있는 항목의 정확한 순서를 유지하려면 아마