다른 긴 목록의 목록을 파이썬으로 검색하십시오.

Question

저는이 포럼이 처음이므로, 매우 긴 질문 인 경우 사과드립니다.

키워드 목록 및 DB 또는 자유 형식 텍스트 파일에서 생성 된 텍스트 줄 목록을 허용하는 일반 키워드 구문 분석기를 만들려고합니다. 이제 키워드 목록을 기반으로 텍스트 행 목록에서 엔티티를 추출하여 세 가지 핵심 출력을 생성 할 수있게되었습니다.

이 키워드가 언급 된 텍스트 라인과 언급

1. 키워드,이 키워드가 다음 텍스트 행

에서 언급 된 시간의

수의 샘플입니다 이 작업을 위해 작성한 파이썬 코드. 당신이 볼 수 있듯이 저는 이것을 3 단계로 성취하려고 노력하고 있습니다.

단계 - 1을 줄이기 위해 키워드에 인덱스 형 검색을 수행 - 나는 텍스트 라인

2 단계 (1 개 구문 분석 패스) 목록에서 알려진 모든 원치 않는 줄을 제거 할 수 있도록 순서를 수락 거부 전체 루프 검색을 수행해야하는 행 목록

3 단계 - 전체 반복 검색을 수행하십시오.

문제점 : 3 단계 (코드에서 2 번 통과)는 매우 효율적이며 4500 개의 요소가있는 키워드 목록 및 거의 200 만 개의 행이있는 텍스트 행의 예입니다. 코드는 24 시간 이상 실행됩니다.

누구나 패스 2를하는 더 좋은 방법을 제안 할 수 있습니까? 또는 전체 기능을 작성하는 더 좋은 방법이 있다면?

저는 파이썬 초보자입니다. 따라서 내가 명백한 것을 놓친 경우, 사전에 사과하십시오.

########################################################################################## 
# The keyWord parser conducts a 2 pass keyword lookup and parsing. 
# Inputs: 
# keywordIDsList - Is a list of the IDs of the keyword (Standard declaration: keywordIDsList[]= Hash value of the keyWords) 
# KeywordDict - is the Dict of all the keywords and the associated ID. 
#   (Standard declaration: keywordDict[keywordID]=(keywordID, keyWord) where keywordID is hash value in keywordIDsList) 
# valueIDsList - Is a list of the IDs of all the values that need to be parsed (Standard declaration: valueIDsList[]= Unique reference number of the values) 
# valuesDict - Is the Dict of all the value lines and the associated IDs. 
#   (Standard declaration: valuesDict[uniqueValueKey]=(uniqueValueKey, valueText) where uniqueValueKey is the unique key in valueIDsList) 
# rejectPattern - A regular expression based pattern for rejecting columns with certain types of patterns. This is an optional field. 
# Outputs: 
# parsedHashIDsList - Is the a hash value that is generated for every successful parse results 
# parsedResultsDict - Is actual parsed value as parsedResultsDict[parsedHashID]=(uniqueValueKey, keywordID, frequencyResult) 
# successResultIDsList - list of all unique value references that were parsed successfully 
# rejectResultIDsList - list of all unique value references that were rejected 
########################################################################################## 

def keywordParser(keywordIDsList, keywordDict, valueIDsList, valuesDict, rejectPattern): 
    parsedResultsDict = {} 
    parsedHashIDsList = [] 
    successResultIDsList = [] 
    rejectResultIDsList = [] 
    processListPass1 = [] 
    processListPass2 = [] 
    idxkeyWordDict = {} 

    for keyID in keywordIDsList: 
     keywordID, keyWord = keywordDict[keyID] 
     idxkeyWordDict[keyWord] = (keywordID, keyWord) 

    percCount = 1 
    # optional: if rejectPattern is provided then reject lines 
    # ## Some python code for processing the reject patterns - this works fine 

    # Pass 1: Index based matching - partial code for index based search 
    for valueID in processListPass1: 
     valKey, valText = valuesDict[valueID] 
     try: 
      keyWordVal, keywordID = idxkeyWordDict[valText] 
     except: 
      processListPass2.append(valueID) 

    percCount = 0 

    # Pass 2: Text based search and lookup - this part of the code is extremely inefficient 

    for valueID in processListPass2: 
     percCount += 1 
     valKey, valText = valuesDict[valueID] 
     valSuccess = 'N' 
     for keyID in keywordIDsList: 
      keyWordVal, keywordID = keywordDict[keyID] 
      keySearch = re.findall(keyWordVal, valText, re.DOTALL) 
      if keySearch: 
       parsedHashID = hash(str(valueID) + str(keyID)) 
       parsedResultsDict[parsedHashID] = (valueID, keywordID, len(keySearch)) 
       valSuccess = 'Y' 
     if valSuccess == 'Y': 
      successResultIDsList.append(valueID) 
     else: 
      rejectResultIDsList.append(valueID) 

    return (parsedResultsDict, parsedHashIDsList, successResultIDsList, rejectResultIDsList) 

Answer 1

이것은 Aho-Corasick string matching algorithm의 완벽한 사용 사례입니다. 파이썬에서 코드 예제를 사용하여 비슷한 사용 사례에 대한 설명이 this blog post입니다.