Antlr 서브 토큰 받기

Question

내 용어가 꺼져 있으면 용서해주십시오.

내가 단순 문법이 비트가 있다고 가정하자 :

// parser 
expr : COMPARATIVE; 

// lexer 
WS : ('\t' | ' ' | '\r' | '\n'| '\u000C')+; 
COMPARATOR 
     : 'vs' 
    | 'versus' 
     ; 
ITEM 
     : 'boy' 
     | 'girl' 
     ; 
COMPARATIVE :ITEM WS* COMPARATOR WS* ITEM; 

그래서이 과정 매치 'boy vs girl' 또는 'girl vs boy' 등 의 의지하지만 내 문제는 내가 렉서를 만들 때 즉,

입니다

CharStream stream = new ANTLRInputStream("boy vs girl"); 
SearchLexer lex = new SearchLexer(stream); 
CommonTokenStream tokens = new CommonTokenStream(lex); 
tokens.fill(); 
for(Token token : tokens) { 
    System.out.print(token.getType() + " [" + token.getText() + "] "); 
} 

이렇게하면 다음과 같이 인쇄됩니다. 9 [소년 대 소녀], 즉 내 쿼리와 정확하게 일치하지만 현재는이 현재 토큰의 하위 토큰을 얻을 수 있기를 원합니다.

내 직감은 내가 나무를 사용해야한다고 말하지만 Antlr4에서 내 예제를 위해이 작업을 수행하는 방법을 실제로 알지 못합니다. 감사합니다.

Answer 1

현재, COMPARATIVE은 규칙과 일치하는 모든 텍스트에서 하나의 토큰을 만드는 것을 의미하는 렉서 규칙입니다.

comparative : ITEM WS* COMPARATOR WS* ITEM; 

COMPARATIVE 때문에 더 이상 하나의 토큰으로 간주되지 않습니다, 대신 ITEM, WS 및 COMPARATOR 개별 토큰을 얻을 것이다 : 당신은 대신 파서 규칙 comparative을해야한다.

두 측면 노트 : 공백이 중요하지 않은 경우

이

1. ,이 같은 파서 규칙에서 숨길 수 : 단순히 될

   WS : ('\t' | ' ' | '\r' | '\n'| '\u000C')+ -> channel(HIDDEN); 
   

   당신은 다음 comparative 파서 규칙을 단순화 할 수 있습니다 :

   comparative : ITEM COMPARATOR ITEM; 
   

2. ANTLR 4에서는 문자를 단순화 할 수 있습니다. 새로운 구문을 사용하여 세트 :

   WS : [ \t\r\n\u000C]+ -> channel(HIDDEN);