파일 토큰 화하기

Question

필자는 CS 클래스에서 셰익스피어의 연극과 소네트의 전체 코퍼스를 읽고 특정 단어가 나오는 횟수를 프린트하는 작업을했습니다. 아무도 내가 이걸 가지고 발을 뺄 수있게 도와 줄 수 있니? 다음은 제가 주어진 단계별 상세 검색의 첫 단계입니다.

레벨 0 파일 토큰 화 기능을 정의하여 토큰 배열을 반환합니다. 배열을 반복하면서 한 줄에 하나씩 각 토큰을 인쇄하십시오. 내가 파일을 토큰 화하고 파이썬에 배열로 읽어 어떻게 내 진짜 질문은 생각

def main(): 
    tokens = readTokens("shakespeare.txt") 
    for i in range(0,len(tokens),1): 
     print(tokens[i]) 

: 예를 들어, 전문의 주요 이렇게 뭔가를 조회 할 수 있습니다? 죄송합니다. 이런 종류의 질문이이 웹 사이트가 아니라면, 저는 약간의 도움을 찾고 있습니다. 감사.

Answer 1

goodletters = set("abcdefghijklmnopqrstuvwxyz' \t") 

def tokenize_file(fname): 
    tokens = [] 
    with open(fname) as inf: 
     for line in inf: 
      clean = ''.join(ch for ch in line.lower() if ch in goodletters) 
      tokens.extend(clean.split()) 
    return tokens 

명확성을 기하기 위해 다음과 같이 쓰여 있습니다. 프로덕션에서는 inf.read().translate()을 사용 하겠지만 파이썬 2.x와 3.x에서는 그 설정이 크게 다르며 필요한 것보다 더 혼란스럽지 않으려합니다.

Answer 2

from collections import Counter 

def readTokens(file): 
    tokens = Counter() 
    with open(file) as f: 
     for line in f: 
      tokens += Counter(word.strip() for word in line.split()) 
      # if you're trying to count "Won't", "won't", and "won't!" 
      # all together, do this instead: 
      ## tokens += Counter(word.strip('"!?,.;:').casefold() for word in line.split()) 
    return tokens 

def main(): 
    tokens = readTokens('shakespeare.txt') 
    for token in tokens: 
     print(token) 
    print("The most commonly used word is {}".format(max(tokens.items(), key= 
                lambda x: x[1])))