자바 애플리케이션에서 인도네시아어 텍스트를 처리 중이므로이를 줄여야합니다. 현재 내가 루씬 인도네시아어 형태소 분석기를 사용하고 있습니다. org.apache.lucene.analysis.id.IndonesianAnalyzer; 그러나 결과는 만족스럽지 않습니다. 사람은 나에게 다른 형태소 분석기를 제안 할 수 있을까요?
Flex를 사용하여 스캐너를 생성하려고합니다. 버전은 2.5.4입니다. http://gnuwin32.sourceforge.net/packages/flex.htm 웹 사이트 나는 the example from the Flex manual을 사용하고 있습니다. 내 환경은 VS2010을 실행하는 Windows 7입니다. flex -c++ scanner.l 명령을
파일을 토큰 목록으로 구문 분석하려고합니다. 각 토큰은 최소한 하나의 행을 포함하지만 더 많은 행으로 구성 될 수 있습니다. 각 토큰은 정규식과 일치합니다. 입력이 일련의 토큰이 아닌 경우 (즉, 사이에 쓰레기가 나오지 않거나 뒤 따르는 경우) 오류를 신호하고 싶습니다. 나는 입력 파일이 비교적 작기 때문에 메모리 소비에 관심이 없다. $s = slurp_
가능한 트위터 핸들을 생성하고 가용성을 확인하는 스크립트를 작성했습니다. 허용되는 심볼 조합을 반복하면됩니다 : a-z, 0-9, _. 현재 1926220 개의 조합, 즉 1 ~ 5 개의 기호가 포함 된 모든 조합을 확인했습니다. 여기에 간단한 결과는 다음과 같습니다 1 0 무료 계정, 2, 3 개 기호, 442711는이 목록을 분석하고 사람을 찾을 것 a
루비가 구문 분석하는 방법을 어떻게 예측할 수 있습니까? 문자열을 연결하는 동안 Ruby에서 파싱 오류가 발생했습니다. > "every".capitalize +"thing"
=> NoMethodError: undefined method `[email protected]' for "thing":String
물론 추가 공간을 넣으면 의도 한대로 작동합니다
특정 토큰을 찾고 소스 코드 파일을 읽는 것과 관련된 프로젝트를 진행 중입니다. (제 경우에는 Objective-C 클래스가 프로토콜을 구현하는지 확인하려고합니다.) 문제는 키워드에 대한 행을 스캔 할 수는 있지만 주석 또는 문자열에 나타날 수 있다는 것입니다. 이 문제를 해결하는 올바른 방법은 무엇입니까? 전체 파일을 토큰화할 필요가 있습니까? 더 쉬운
비트 지향적 인 패킷 형식이 많이 있습니다. 손으로 많은 꽤 복잡한 렉서를 작성하기보다는 비트 레벨 렉서 제너레이터를 찾고 있는데, 비트 지향적 인 플렉스/렉스의 버전이 있다고합니다. 분명히 나는 단지 C을 쓸 수 있었지만, 그런 비트 수준의 렉서 제너레이터가 있는지 궁금해하고 있었다. 빠른 구글 후에, 나는 많은 미디어 디코더 등을 발견했다. 그러나
편집 : Qi와 완벽하게 통합되지 않고 문법을 흐리게 처리하기 때문에 렉서를 찢어 냈습니다 (here 참조). 나는 영 렉스 프레임 워크 위에 문법을 성장하기 위해 노력하고있어. 건너 띄기 구문 분석기를 문법으로 옮기려고하면 오류가 발생하기 시작합니다. 그래서 qi::grammar<> 및 qi::rule<> event 서명을 <Iterator>에서 <Ite
에 따르면 manualYY_BUF_SIZE은 16K이며이를 무시해야합니다. 그러나 설명서에서는이 명령문을 무시하는 방법을 지정하지 않으며 이에 대한 명령 줄 옵션도 찾을 수 없습니다. 다른 사람이이를 변경하는 방법을 알려주십시오. #ifndef YY_BUF_SIZE
#define YY_BUF_SIZE 16384
#endif
그래서이 전에를 오버라이드