줄 바꿈을 제거하여 파이썬에서 문자열을 검색하지만 문자열이 발견 된 정확한 줄을 반환하는 방법은 무엇입니까?

Question

나는 한 세트의 키워드를 검색해야하는 수많은 PDF 파일을 가지고있다. 키워드가있는 정확한 행을 추출해야합니다. 먼저 xpdf의 pdf2text를 사용하여 파일을 PDF로 변환했습니다. (시도했지만 solr하지만 내 요구 사항에 맞게 출력/스키마를 조정하는 힘든 시간을 보냈습니다).

import sys 

file_name = sys.argv[1] 
searched_string = sys.argv[2] 
result = [(line_number+1, line) for line_number, line in enumerate(open(file_name)) if searched_string.lower() in line.lower()] 

#print result 

for each in result: 
    print each[0], each[1] 

ThinkCode : ~ $ 파이썬 find_string.py하시면 sample.txt "문자열 추출"

나는이 함께이 문제입니다 검색 문자열의 끝으로 깨진 경우에 줄 :

큰 이진 파일을 인덱싱하려면 크기 제한을 변경해야합니다. 문자열

추출 제가 위에서 제시 한 코드를 사용하는 경우

내가 '문자열 추출'을 검색하고 있다면,이 키워드를 그리워하는 일반적인 문제입니다. 텍스트 파일의 사본 2 개 (줄을 추출하기 위해 키워드를 검색하기위한 것이고 줄 바꿈을 제거하고 키워드가 2를 가로 지르는 경우를 제거하기위한 키워드를 찾는 것에 대한 것)없이 이것을 달성하는 가장 효율적인 방법은 무엇입니까? 윤곽).

많은 감사를드립니다!

Answer 1

참고 : 코드가없는 몇 가지 고려 사항이 있지만 의견보다는 대답에 속한다고 생각합니다.

제 아이디어는 첫 번째 키워드 만 검색하는 것입니다. 일치하는 항목이 있으면 두 번째 항목을 검색하십시오. 이렇게하면 줄 끝에서 일치하는 항목이 발견되면 다음 줄을 고려하여 처음부터 일치하는 항목이있는 경우에만 줄 연결을 수행 할 수 있습니다 *.

편집 :

간단한 예제를 코딩하고 다른 알고리즘을 사용하여 종료;

def iterwords(fh): 
    for number, line in enumerate(fh): 
     for word in re.split(r'\s+', line.strip()): 
      yield number, word 

그것은 파일 핸들러를 반복 실행하고 파일의 각 단어에 대한 (LINE_NUMBER, 워드) 튜플을 생성합니다 뒤에 기본 개념은이 코드입니다.

이후에 쉽게 일치됩니다. 내 구현 as a gist on github을 찾을 수 있습니다. 다음과 같이 실행할 수 있습니다 :

는

python search.py 'multi word search string' file.txt 

링크 된 코드를 하나의 주요 관심사, 나는 성능과 복잡성을 이유로 해결 방법을 코딩하지 않았다 있습니다. 알아낼 수 있니? 은 (스포일러가 : 그 첫 번째 단어 파일에 연속으로 두 번 나타나는 문장을 검색하려고)

가 * 내가 내 자신에 어떤 테스트를 수행하지 못했지만, this article과 python wiki 제안하는 문자열 연결입니다 python에서 그렇게 효율적이지는 않습니다 (실제로 정보가 어떻게되는지).

Answer 2

그 일을 더 나은 방법이있을 수 있지만, 내 제안은 line3 또는 비슷한으로 그들을을 연결, 두 줄 (의 그들 line1 및 line2를 부르 자)에 복용에 의해 시작하고, 그 결과 행을 검색하는 것입니다.

그러면 line2을 line1으로 지정하고 line2을 새로 지정하고 과정을 반복하십시오.

Answer 3

사용 플래그 re.MULTILINE 당신의 표현식을 컴파일 할 때 : http://docs.python.org/library/re.html#re.MULTILINE이

그런 (새로운 라인을 포함한) 모든 공백을 나타 내기 위해 \s를 사용합니다.