구문 분석 : 목록에있는 모든 토큰을 좋지 않게 생각하고 있습니까?

Question

역 추적을 사용하는 재귀 적 파생어에서 모든 토큰을 목록에 보관하는 것은 좋지 않은 생각입니까? 무한한 수의 토큰이 없으면 좋은 접근 방법이라고 읽었습니다.하지만 큰 파일이 있고 토큰 수가 많으면 어떻게 될까요? 성능에 큰 영향을 줄까요?

Answer 1

너무 걱정하지 않아도됩니다. 파일이 너무 커서 한 번에 모든 토큰을 저장하면 상당한 양의 메모리가 필요하다면 추상 구문 트리도 너무 많은 메모리를 사용하게됩니다. 일반적으로 전체 파일의 표현을 조만간 메모리에 표시해야 할 가능성이 높습니다. 단일 패스 컴파일러는 대부분의 현대 언어에서 가능하지도 않으며, 단일 패스 컴파일러 (예 : C)를 사용하기 위해 방해가되는 언어는 개발 경험이 떨어지는 언어로 비용을 지불합니다.

또한, 우리는 C/C++ 스타일의 프리 프로세서 모델에 대해 얘기하지 않는 가정, 합리적인 코드 파일도 매우 공간 비효율적 토큰 데이터 형식이 현실적으로보고있는 것을 의미 메가 바이트보다 작은 더 이상은 수십 메가 바이트가 아닙니다. 큰 파일은 병리학 적이며 문제가 아닌 큰 파일을 쓰는 사람들의 문제입니다.

Answer 2

저는 @Delnan과 일반적으로 일치합니다. 어쨌든 대부분의 컴파일러는 컴파일되는 프로그램의 크기에 비해 방대한 양의 메모리가있는 시스템에서 실행되므로 공간이 문제가되지 않습니다.

만약 내가 당신이 전체 AST를 저장하려고한다면, 당신은 본질적으로 토큰리스트를 어쨌든 AST의 잎처럼 저장하고 있습니다.

방향을 제시합니다. 전체 토큰 목록을 단독으로 저장하지 마십시오. AST 잎을 표현하기 위해 AST 잎을 사용하기 만하면됩니다.