유한 오토마타로 구현 된 렉서에서 공백을 처리하는 방법은 무엇입니까?

Question

하나의 간단한 프로그래밍 언어로 렉서를 만들었습니다. 정규 표현식 (Java의 RegEx) 대신 결정론적인 유한 오토마타를 사용합니다. automata는 소스 코드에서 moduleclouds (모듈과 클라우드 모두 키워드 임)를 사용하면 오류를보고하지 않는다는 점을 제외하고는 훌륭하게 작동합니다. 대신 KW_MODULE 및 KW_CLOUDS라는 두 개의 토큰을 만듭니다. 오토 마톤이 KW_MODULE의 최종 상태에 있다면 나는 공백을 미리 볼 수 있다고 주장 할 수있다. 하지만 그것은 문제를 해결하지 못합니다. 왜냐하면 언어에서 토큰 INT DASH INT로 올바르게 번역 될 8-6 (공백으로 구분되지 않음)과 같은 것을 가질 수 있기 때문입니다.

파서의 문법에서 공백을 처리하는 것은 좋지 않다는 것을 알고 있습니다.

내 자동 완성 기능은 행렬로 구현됩니다 (행은 상태이고 열은 알파벳의 문자이며 셀은 전환 상태 임). 자동 상태가 최종 상태가되면 자동 상태를 시작 상태에서 다시 시작합니다.

이 프로그래밍 언어가 세미콜론을 사용하지 않기 때문에 문제가 있다고 생각합니다. 예 :

모듈; 구름;

대신이 라인을 분리하는 공백을 사용 모듈 구름 미리

감사합니다.

감사합니다.

Answer 1

FWIW, 내가 처리 한 파서는 키워드가 문법에 정의 된대로 적절한 식별자이기 때문에이 문제를 처리합니다.

예. 선택적으로 더 많은 문자 또는 숫자가 뒤에 오는 문자로 정의 된 식별자가 있으면 키워드도 해당 금형에 맞아야합니다. lexer는 토큰이 이미 ident로 분류 된 경우에만 잠재적 인 키워드로 간주합니다.

다른 사람들이이 문제를 어떻게 다루는 지 알고 싶습니다.