토큰 화 복잡한 입력

Question

내가 파이썬에서 다음과 같은 입력 토큰 화를 시도하고있어

:

tokens = [ 
     ('text', 'This '), 
     ('enter', 'code'), 
      ('text', "example") 
     ('exit', None), 
     ('text', ' is '), 
     ('enter', 'a'), 
      ('text', "neither"), 
      ('href', "/defn/neither"), 
     ('exit', None), 
     ('text', ' complete'), 
     ('enter', 'footnote'), 
      ('id', 1), 
     ('exit', None), 
     ('text', ' '), 
     ('enter', 'strong'), 
      ('text', 'nor'), 
     ('exit', None), 
     ('text', ' trite, '), 
     ('enter', 'strong'), 
       ('text', 'though '), 
       ('enter', 'em'), 
        ('text', 'simple'), 
       ('exit', None), 
     ('exit', None), 
     ('text', '.') 
    ] 

척 :

text = 'This @example@ is "neither":/defn/neither complete[1] *nor* trite, *though _simple_*.' 

내가 정규 표현식의 사용을 피하면서 다음과 같은 것이 같은 것을 제작해서를 위는 발전기에 의해 생산되고있다. 내 current implementation 코드는 약간 끔찍하지만 쉽게 링크를 지원하도록 확장되지는 않지만 작동합니다.

도움을 주시면 감사하겠습니다.

원하는 구문을 복잡한 중첩 목록 구조에서 단순한 튜플 스트림으로 변경하려면 업데이트되었습니다. 우리 인간을위한 들여 쓰기. 링크 텍스트 내에서 서식을 지정할 수 있습니다. 여기에 내가 찾고있는 렉싱 결과를 생성하지만 여전히 링크 또는 각주를 처리하지 않는 a simple parser입니다.

Answer 1

글쎄, here's a more complete parser 미래에 필요할 수도있는 것을 충분히 확장 할 수 있습니다. 3 시간 밖에 걸리지 않았습니다. 대단히 빠른 것은 아니지만 일반적으로 쓰는 파서 클래스의 출력은 대용량으로 캐시됩니다. 이 토크 나이저와 파서를 설치했다하더라도 내 전체 엔진은 기본 파이썬 - 텍스타일 렌더러의 SLoC의 75 % 인에서 여전히 약간 클럭 속도를 유지합니다. 정규 표현식이없는 모든 것.

각주 구문 분석은 그대로 유지되지만 링크 구문 분석과 비교하면 사소한 것입니다. 출력 (이 게시 시점) :

tokens = [ 
    ('text', 'This '), 
    ('enter', 'code'), 
     ('text', 'example'), 
    ('exit', None), 
    ('text', ' is '), 
    ('enter', 'a'), 
     ('text', 'neither'), 
     ('attr', ('href', '/defn/neither')), 
    ('exit', None), 
    ('text', ' complete[1] '), 
    ('enter', 'strong'), 
     ('text', 'nor'), 
    ('exit', None), 
    ('text', ' trite, '), 
    ('enter', 'strong'), 
     ('text', 'though '), 
     ('enter', 'em'), 
      ('text', 'simple'), 
     ('exit', None), 
    ('exit', None), 
    ('text', '.') 
]