수작업으로 작성한 렉서 (lexer) 용 PLY 인터페이스를 작성하는 방법은 무엇입니까?

Question

필자는 파이썬에서 컴파일러를 작성하고 있는데 필자는 PLY에서 들여 쓰기를 파싱하는 방법을 알아낼 수 없기 때문에 필기체 렉서를 만들었습니다. 또한, 내 렉서 지금과 같은 몇 가지 yield 문 사용하지만

def scan(): 
... 
    for i in tokens: 
     if i[0]: yield Token(self.line, i[0] if i[0] in keywords else "ident", i[0]) 
      elif i[1]: 
       if "e" in i[1]: 
        base, exp = i[1].split("e") 
        val = float(base) * 10 ** int(exp) 
       else: val = float(i[1]) 
       yield Token(self.line, "float", val) 
     ... other cases ... 

을, 나는 PLY 파서는 token 방법을 필요로 실현, 그래서 나는 다음과 같다 하나 만들어 :

def token(self): 
    return next(self.scan()) 

실제 검사를 내 테스트에 따르면 scan()을 사용하면 평균 124ms가 걸리지 만 PLY 파서를 사용하면 몇 분 후에 파싱이 시작되지 않습니다. 내 방법에 문제가있는 것으로 보입니다.

또한 이 인터페이스가 될 수 있도록 scan() 메서드의 이름을 바꾸려고했습니다. 파이썬은 다음과 같은 것을 반환합니다.

AttributeError: 'generator' object has no attribute 'type' 

그래서 PLY에는 한 번에 하나의 토큰을 반환하는 메서드가 필요합니다.

메서드를 다시 작성하여 다음 반복을 scan()으로 돌려 주지만 느리지는 않습니까?

def start(...): 
    self.lexer = self.scan() 

def token(...): 
    return next(self.lexer) 

면책 조항 :

Answer 1

당신처럼, 어딘가 발전기를 저장해야 내가 PLY에 대해 아무것도 몰라.