Doc2vec : 결과 벡터를 클러스터링

doc2vec 모델에서 벡터 자체를 클러스터링 할 수 있습니까? 우리는 각 결과 model.docvecs[1] 벡터를 클러스터해야할까요? 클러스터링 모델을 구현하는 방법은 무엇입니까?Doc2vec : 결과 벡터를 클러스터링

model = gensim.models.doc2vec.Doc2Vec(size= 100, min_count = 5,window=4, iter = 50, workers=cores) 
    model.build_vocab(res) 
    model.train(res, total_examples=model.corpus_count, epochs=model.iter) 


    # each of length 100 
    len(model.docvecs[1])

출처

2017-12-21 sagar

모델에서 직접 문서 벡터를 사용하여 k-means 클러스터링 알고리즘 (예 : k-means 클러스터링 알고리즘)을 적용 할 수 있습니다. 그런 다음 Centroids를 사용하여 문서에 레이블을 지정하십시오. 클러스터의 모든 문서와 일치하는 것은 무게 중심이 검색을 위해 사용될 수 있으며, 필요하지 않은 경우

from scipy.cluster.vq import kmeans,vq 

NUMBER_OF_CLUSTERS = 15 

centroids, _ = kmeans(model.docvecs, NUMBER_OF_CLUSTERS) 

# computes cluster Id for document vectors 
doc_ids,_ = vq(model.docvecs,centroids) 

# zips cluster Ids back to document labels 
doc_labels = zip(model.docvecs.doctags.keys(), doc_ids) 

# outputs document label and the corresponding cluster label 
[('doc_216', 0), 
('doc_217', 12), 
('doc_214', 13), 
('doc_215', 11), 
('doc_212', 13), 
('doc_213', 11), 
('doc_210', 5), 
('doc_211', 13), 
('doc_165', 0), 
... ]

(gensim 사용). 예를 들어, centroid (cluster) 1에 가장 가까운 10 개의 문서를 가져옵니다.

model.docvecs.most_similar(positive = [centroids[1]], topn = 10) 

# outputs document label and a similarity score 
[('doc_243', 0.9186744689941406), 
('doc_74', 0.9134798049926758), 
('doc_261', 0.8858329057693481), 
('doc_88', 0.8851054906845093), 
('doc_276', 0.8691701292991638), 
('doc_249', 0.8666893243789673), 
('doc_233', 0.8334537148475647), 
('doc_292', 0.8269758224487305), 
('doc_98', 0.8193566799163818), 
('doc_82', 0.808419942855835)]

출처

2018-02-12 13:29:33 Saftophobia

Doc2vec : 결과 벡터를 클러스터링

답변

관련 문제