Antlr 사용자 정의 요구 사항 분석기

Question

ANTLR을 사용하여 입력을 구문 분석하는 데 매우 특별한 요구 사항이 있습니다. 나는 다음과 같은 표현을 파싱 할 수 있기를 바란다.

올바른 입력

• 사용자 이름
• _ 이름 사용자 이름
• | 어떤 것도 여기에 올 수 있어요/OK | EATALL ...

잘못된 입력

• 사용자/이름
• 사용자 & 이름^얼굴

음, 올 어떤 표현 | EATALL & | EATALL 전 (있는 경우 후 any)는 단일 토큰으로 얻어야합니다. | EATALL이 표시되지 않는 다른 간단한 입력의 경우 _, -, [a-zA-Z0-9]의 유효한 조합 만 하나의 토큰으로 토큰 화됩니다. 의사에서,

• 사용자 이름 -> [사용자] [이름]
• _ 이름 -> [USER_NAME]
• | EATALL 사용자/내 사용자 이름 -> [사용자/이름을 내 사용자]

이것은 이미 나를위한 토큰 화의 모호한 사례처럼 보입니다. 나는 antlr에서 이러한 문제를 다루는 것에 대한 귀하의 제안을 모색 중입니다. 진심으로 감사드립니다.

Answer 1

그래서 무엇을 시도 했습니까? Antlr 3에만 특정 질문이 있습니까? 아니면 Antlr 4를 사용할 수 있습니까?

Antlr 3의 경우 의미 적 조건자를 사용하여 토큰 규칙 선택을 조건부로 지정할 수 있습니다. Antlr 4에는 기호 의미 론적 술어가 없기 때문에 네이티브 코드 액션을 사용하여 본질적으로 동일한 결과를 얻을 수 있습니다. 예를 들어 (테스트되지 않음) :

lexer grammar eatall ; 

ValidSimple : { isCurrenLineJustTEXTandWS() }? TEXT ; 
-- or -- 
ValidSimple : TEXT (WS TEXT)* EOL? { emitEachTEXTasNewValidSimpleToken(); } ; 

ValidEatAll : IgnoreL .*? IgnoreR { trimIgnoreLRTextfromTokenText(); } ; 
Invalid  : WS+ | .*? EOL?   -> channel(HIDDEN) ; 

IgnoreL : .*? MARK ; 
IgnoreR : MARK .*? EOL? ; 

fragment MARK : '| EATALL' ; 
fragment TEXT : [a-zA-Z0-9_-] ; 
fragment EOL : '\r'? '\n' ; 
fragment WS : [ \t] ;