대소 문자를 구분하지 않는 키워드 검색

Question

컴퓨터 언어를 구문 분석하기위한 문법을 ​​작성 중이며 Parse::Eyapp과 함께 사용할 수 있습니다. 이것은 정규 언어에 대한 파서 작성을 단순화하는 Perl 패키지입니다. yacc 및 다른 LALR 파서 생성기와 비슷하지만 정규식과 관련하여 토큰을 정의하는 것과 같은 유용한 확장 기능이 있습니다.

구문 분석하려는 언어는 섹션을 나타 내기 위해 키워드를 사용하고 제어 흐름을 설명합니다. 또한 데이터의 자리 표시 자 역할을하는 식별자를 지원합니다. 식별자는 키워드와 같은 이름을 가질 수 없습니다.

여기에 까다로운 부분이 있습니다. 키워드와 식별자를 구분해야하지만 유사 할 수 있으므로 식별자와 대소 문자를 구분하지 않는 정규 표현식 패턴이 필요합니다.

내가 생각 해낸 해결책은 다음과 같다 :

1. 각 키워드는 다음과 같은 형식의 토큰에 의해 식별됩니다 /((?i)keyword)(?!\w)/
   • (?i) 다음과 같은 서브 패턴
   에 대한 대소 문자 구분 일치를 적용합니다
   • (?!\w)은
   • 문자 뒤에 오는 단어 (az, 0-9 등)를 수락하지 않습니다.
   개
2. 다른 키워드의 시작은 더 이상 키워드 다음에 나열되어과 동일 키워드, 그래서 그들은 첫 경기
3. 단지 어떤 키워드가 인식되지 않을 때 일치하므로 일치하는 식별자에 대한 토큰이 마지막으로 오는

내가 정의한 토큰 정의와 문법의 일부는 지금까지 잘 작동했지만 여전히해야 할 일이 많이 있습니다. 그러나 그것은 내 질문이 아닙니다.

제가 물어보고 싶은 것은입니다. 나는 올바른 길을 가고 있습니다. 그 키워드를 매칭하는 데 더 나은, 더 간단한 정규 표현식이 있습니까? 언어 구문 분석을 중단하고 다른 방식을 사용해야합니까?

토크 나이저를 사용하여 단일 문자 대신 전체 문자열을 일치시키려는 아이디어는 Parse :: Eyapp 설명서에서 제공되었습니다. 먼저 문자 대 문법으로 시작했지만 그 방법은 그리 우아하지 않고 파서 생성기의 유연한 특성과 모순되는 것으로 보입니다. 글쓰기가 너무 번거 롭습니다.

Answer 1

언어를 구문 분석하려면 Marpa이 더 적합 할 수 있습니다. 여기에 tutorial이 있습니다. regexp grammars을 사용할 수도 있습니다.