R-Transform의 새 데이터를 text2vec?

Question

예를 들어,는 A TFIDF 가중치 행렬을 구축 후에 적용되는 경우 다음을 text2vec 패키지의 DTM (문서 용어 매트릭스)를 만드는 방법에 대한 문서가있다

:

data("movie_review") 
N <- 1000 
it <- itoken(movie_review$review[1:N], preprocess_function = tolower, 
tokenizer = word_tokenizer) 
v <- create_vocabulary(it) 
vectorizer <- vocab_vectorizer(v) 
it <- itoken(movie_review$review[1:N], preprocess_function = tolower, 
tokenizer = word_tokenizer) 
dtm <- create_dtm(it, vectorizer) 
# get tf-idf matrix from bag-of-words matrix 
dtm_tfidf <- transformer_tfidf(dtm) 

DTM을 만들 수있는 일반적인 관행을 기반으로 교육 데이터 세트에서 해당 데이터 세트를 모델에 대한 입력으로 사용합니다. 그런 다음 새 데이터가 발생하면 (테스트 세트) 새 데이터에 동일한 DTM을 작성해야합니다 (교육 세트에 사용 된 것과 동일한 용어). 이 방법으로 새 ​​데이터 세트를 변환하는 패키지가 있습니다 (scikit에서는이 유형의 인스턴스 만 변형하는 방법이 있습니다).

Answer 1

사실 내가 처음에 text2vec을 시작할 때 나는 그 파이프 라인을 처음부터 지켰습니다. 이제 우리는 업데이트 된 documentation으로 새로운 릴리즈를 준비하고 있습니다. v0.3를 들어

다음과 같은 작업을해야합니다 :

data("movie_review") 
train_rows = 1:1000 
prepr = tolower 
tok = word_tokenizer 

it <- itoken(movie_review$review[train_rows], prepr, tok, ids = movie_review$id[train_rows]) 
v <- create_vocabulary(it) %>% 
    prune_vocabulary(term_count_min = 5) 

vectorizer <- vocab_vectorizer(v) 
it <- itoken(movie_review$review[train_rows], prepr, tok) 
dtm_train <- create_dtm(it, vectorizer) 
# get idf scaling from train data 
idf = get_idf(dtm_train) 
# create tf-idf 
dtm_train_tfidf <- transform_tfidf(dtm_train, idf) 

test_rows = 1001:2000 
# create iterator 
it <- itoken(movie_review$review[test_rows], prepr, tok, ids = movie_review$id[test_rows]) 
# create dtm using same vectorizer, but new iterator 
dtm_test_tfidf <- create_dtm(it, vectorizer) %>% 
    # transform tf-idf using idf from train data 
    transform_tfidf(idf)