Python Regex 일치하는 텍스트 바꾸기

Question

효율적인 이유로 커다란 문자열로 취급하는 거대한 텍스트 파일 (줄 단위로 파일을 읽지는 않습니다)에서 -swf 이후와 || 이전의 문자를 모두 삭제하고 싶습니다.

bla bla bla ||NULL||abc-swf||NULL||NULL 
bla bla bla ||NULL||cdacda-swfend%23wrapclass||NULL||NULL 
bla bla bla ||NULL||bgdbgdbgd-swf%28ML%29endBeliefnet.Web.UI.S||NULL||NULL 

내가 원하는 최종 결과를 다음과 같이하기 : I 파티션 함수를 사용하여 라인으로이 라인을 수행 할 수 있습니다

bla bla bla ||NULL||abc-swf||NULL||NULL 
bla bla bla ||NULL||cdacda-swf||NULL||NULL 
bla bla bla ||NULL||bgdbgdbgd-swf||NULL||NULL 

나는 다음과 같습니다 거대한 텍스트가 파이썬하지만 줄 단위로 파일을 처리해야하기 때문에 많은 시간이 걸리며 파일에는 10M 개가 넘는 행이 있습니다. 파일을 한 줄씩 검토하지 않아도이를 수행 할 수있는 방법이 있습니까? '|'제거를위한 텍스트가있는 경우 내가 원래 대답했다 정규식 실패

Answer 1

이것은 당신이

이

import re 

s = '''bla bla bla ||NULL||abc-swf||NULL||NULL 
bla bla bla ||NULL||cdacda-swfend%23wrapclass||NULL||NULL 
bla bla bla ||NULL||bgdbgdbgd-swf%28ML%29endBeliefnet.Web.UI.S||NULL||NULL''' 

# bad_regex = re.compile(r'(?<=swf)[^|]+') # will stop at a single pipe character | 
regex = re.compile(r'(?<=-swf).*?(?=\|\|)') # matches everything between -swf and || 
regex.sub('', s) 

출력 =

>>> print(s) 
bla bla bla ||NULL||abc-swf||NULL||NULL 
bla bla bla ||NULL||cdacda-swf||NULL||NULL 
bla bla bla ||NULL||bgdbgdbgd-swf||NULL||NULL 

편집 한이 원하는 것을해야 그 안에있는 성격. 이 문제가없는 정규식으로 바꿨습니다.

Answer 2

아마 정말로 Cython을 사용하려고 할 수 있습니다. 또한 : 어쩌면 당신이 먼저이 더 잘 수행하는지 확인을 시도 할 수 있습니다 - 그냥 몇 가지 아이디어>

def test_speed(): 
    row_text = 'bla bla bla ||NULL||cdacda-swfend%23wrapclass||NULL||NULL' 
    string_list = row_text.split('||') # which gives a list 
    # Then only partition in the string_list[2] area -> 
    string_list[2] = ''.join(string_list[2].partition('-swf')[0:2]) 
    # then join it together again: 
    row_text = '||'.join(string_list) 

%timeit test_speed() 
100000 loops, best of 3: 1.36 µs per loop 

을! 꽤 빠를 것 같습니까?

편집 : 케빈의 정규식 예를보고 :

import re 
regex = re.compile(r'(?<=swf)[^|]+') 
def test_regex_speed(regex): 
    row_text = 'bla bla bla ||NULL||cdacda-swfend%23wrapclass||NULL||NULL' 
    regex.sub('', row_text) 

%timeit test_regex_speed(regex) 
100000 loops, best of 3: 2.16 µs per loop 

은 그래서 조금 느리게, 그러나 당신은 정규식으로 한 번에 전체 파일을 할 수 있습니다.

편집 2 : 죄송합니다. "전체 파일이 이미 메모리에 있음"을 보지 못했습니다. 최적의 메모리 사용을 위해 큰 파일을 통해 행별로 줄 것을 제안합니다.