파이썬 생성기 표현식 if-else

Question

큰 파일을 구문 분석하기 위해 파이썬을 사용하고 있습니다. 내가 뭘하고 싶은지

나는 이것을 위해 메모리를 절약하기 위해 표현을 사용하고 싶다. 나는 실제 코드를 넣고있다.

def is_low_qual(read): 
    lowqual_bp=(bq for bq in phred_quals(read) if bq < qual_threshold) 
    if iter_length(lowqual_bp) > num_allowed: 
     return True 
    else: 
     return False 

lowqual=(read for read in SeqIO.parse(r_file,"fastq") if is_low_qual(read)==True) 
highqual=(read for read in SeqIO.parse(r_file,"fastq") if is_low_qual(read)==False) 


SeqIO.write(highqual,flt_out_handle,"fastq") 
SeqIO.write(lowqual,junk_out_handle,"fastq") 

def iter_length(the_gen): 
    return sum(1 for i in the_gen) 

Answer 1

당신은 itertools.ifilter 및 itertools.ifilterfalse와 함께 itertools.tee를 사용할 수 있습니다

import itertools 
def is_condition_true(x): 
    ... 

gen1, gen2 = itertools.tee(sequences) 
low = itertools.ifilter(is_condition_true, gen1) 
high = itertools.ifilterfalse(is_condition_true, gen2) 

는 tee이 기능은 시퀀스 발전기가 자체 경우에도 제대로 작동되도록 사용.

참고하지만, 그 tee 자체가 서로 다른 속도로 소비 low 경우 high (크기 len(sequences)의 목록까지) 꽤 많은 메모리를 사용할 수있다 (low이 high 전에 소진 예를 들어, 경우에 사용됩니다).

Answer 2

나는 컬렉션을 두 번 반복하는 것을 피하려고 노력하고 있다고 생각합니다. 그렇다면이 접근 방식이 효과적입니다.

high, low = [], [] 
_Nones = [high.append(x) if is_condition_true() else low.append(x) for x in sequences] 

이것은 아마도 부작용에 대한 목록 이해력을 사용하기 때문에 알려지지 않았을 것입니다. 그것은 일반적으로 안티 - 파이톤 스입니다.

Answer 3

이것은 놀랍게도 우아하게하기가 어렵습니다. 하나의 결과 반복자에서 항목을 (low를 말) 소비로, 티의 내부 양단 큐가 아직 high에서 소비되지 않은 항목을 포함하도록 확장 할 것

가

from itertools import tee, ifilter, ifilterfalse 
low, high = [f(condition, g) for f, g in zip((ifilter, ifilterfalse), tee(seq))] 

주 (포함 : 여기에 작동하는 무언가이다 불행하게도, ifilterfalse가 거부 할 것입니다.) 이와 같이 이것은 당신이 원하는만큼의 메모리를 절약하지 못할 수도 있습니다. 이 func 따라 그 값을 항목을 제공하는 발생기 함수의 공역에서 dict를 반환

def filtertee(func, iterable, codomain=(False, True)): 
    it = iter(iterable) 
    deques = dict((r, deque()) for r in codomain) 
    def gen(mydeque): 
     while True: 
      while not mydeque:   # as long as the local deque is empty 
       newval = next(it)  # fetch a new value, 
       result = func(newval) # find its image under `func`, 
       try: 
        d = deques[result] # find the appropriate deque, and 
       except KeyError: 
        raise ValueError("func returned value outside codomain") 
       d.append(newval)  # add it. 
      yield mydeque.popleft() 
    return dict((r, gen(d)) for r, d in deques.items()) 

: 여기서

는 가능한 한 적은 메모리를 추가로 사용하는 구현의

gen = filtertee(condition, seq) 
low, high = gen[True], gen[False] 

condition이 codomain의 값만 반환하도록하는 것은 사용자의 책임입니다.

Answer 4

더 일반적인 대답을 추가하기 만하면됩니다. 주된 관심사가 메모리 인 경우 전체 파일을 반복하는 하나의 생성기를 사용하고 각 항목을 낮은 값 또는 높은 값으로 처리해야합니다. 예 :

for r in sequences: 
    if condition_true(r): 
     handle_low(r) 
    else: 
     handle_high(r) 

둘 중 하나를 사용하기 전에 모든 고/저 요소를 수집해야하는 경우 잠재적 인 메모리 적중을 방지 할 수 없습니다. 그 이유는 읽을 때까지 어느 요소가 고/저인지 알 수 없기 때문입니다. 낮은 우선 순위로 처리해야하고 모든 요소가 실제로 높다는 것을 알게되면 메모리를 사용하게 될 때 목록에 저장할 수 밖에 없습니다.하나의 루프로 처리하면 각 요소를 한 번에 하나씩 처리 할 수 ​​있지만 다른 고려 사항과 균형을 맞추어야합니다 (즉, 이렇게하는 것이 얼마나 귀찮은 지, 즉 수행하려는 작업에 따라 달라집니다) 데이터와 함께).