RWeka에서 백업 토크 나이저 스위치를 구현하는 방법은 무엇입니까?

Question

일부 텍스트 마이닝을 수행하기 위해 R-tm-Rweka 패키지를 사용하고 있습니다. 한 번에 tf-tdm을 작성하는 대신 내 목적에 충분하지 않아서 ngram을 추출해야합니다. 나는 @Ben 함수 TrigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 2, max = 3)) tdm <- TermDocumentMatrix(a, control = list(tokenize = TrigramTokenizer))
을 사용하여 트라이 그램을 추출했습니다. 출력에 명백한 오류가 있습니다 (아래 참조). 4, 3 및 2 단어 구문을 선택합니다. 이상적으로, 그것은 단지 4 단어 명사구를 집어 들고 (3 단어 및 2 단어) 나머지를 버려야합니다. 파이썬 NLTK에 백업 토큰 화인 옵션이있는 것처럼이 솔루션을 강제로 수행하는 방법은 무엇입니까?

추상적 인 전략 ->this is incorrect>
추상 전략 보드 ->incorrect
추상 전략 보드 게임 -> this should be the correct output

액센추어 임원
액센추어 임원 간단한
액센추어 임원 간단한 코멘트

많은 감사합니다.

Answer 1

나는 당신이 만든 시도에 매우 가깝다고 생각합니다. 너는 Weka에게 2 그램과 3 그램의 토큰을 잡는 것이었다는 것을 이해해야한다는 것을 제외하고는; 그것은 단지 Weka_control이 어떻게 지정되었는지입니다.

대신 다른 토큰 라이저에서 다른 토큰 크기를 사용하고 환경 설정 또는 결정 규칙에 따라 결과를 선택하거나 병합하는 것이 좋습니다.

N-gram 워드 클럭에서이 great tutorial을 확인해 볼 가치가 있다고 생각합니다.

N 그램의 텍스트 마이닝을위한 견고한 코드는 다음과 같습니다

4 그램에 대한

# QuadgramTokenizer #### 
QuadgramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 4, max = 4) 

,

# TrigramTokenizer #### 
TrigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 3, max = 3) 

3 그램의 경우, 물론

# BigramTokenizer #### 
BigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 2, max = 2) 

의 2 그램을 위해.

Weka_control을 범위로 설정하는 대신이 같은 다른 그램 크기를 별도로 실행하여 이전 문제를 피할 수 있습니다.

는이 같은 토크 나이저를 적용 할 수 있습니다

tdm.ng <- TermDocumentMatrix(ds5.1g, control = list(tokenize = BigramTokenizer)) 
dtm.ng <- DocumentTermMatrix(ds5.1g, control = list(tokenize = BigramTokenizer)) 

당신은 아직도 단지 reproducible 예를 제공해 주시기 바랍니다 문제를 가지고 있고 후속 것입니다 경우.