Bi (다중) 언어 코퍼스에 대한 Lda

Question

Graber et al.의 결과를 재현하려고합니다. LDA가 다국어 코퍼스와 함께 사용될 때 주제 (예 : 상위 10 개)에 대한 가장 가능성있는 용어는 단일 언어에서 올 것이라고 나타냅니다. 그들의 논문은 here입니다.

이것은 IMO를 수행하는 데있어 합당한 건강 진단이지만 문제가 있습니다.

나는 사용하는 동일한 코퍼스 인 Europarl corpus을 사용하고 있으며 불가리아어와 영어로 구성된 코퍼스를 사용하고 있습니다. 나는 불가리아어 라인의 수집 및 영어에서 두 번째 컬렉션,

cat corpusBg.txt corpusEn.txt >> corpusMixed.txt. 

이 각 줄의 문장을 포함하여 불가리아와 영어 corpuses를 연결된. 4 가지 주제로 구성된 LDA 모델에 적합하면 3 가지가 상위 10 개에만 영어 용어를 포함하고 4 번째는 영어와 불가리아어가 섞여 있습니다. 나는 중지 단어 또는 스파 스 용어를 제거하지 않은

texts = [[word for word in doc.lower().split()] for doc in open('corpusMixed.txt', 'r')] 
dictionary = corpora.Dictionary(texts) 
corpus = [dictionary.doc2bow(doc) for doc in texts] 
lda = models.ldamodel.LdaModel(corpus, id2word = dictionary, num_topics = 4) 
topics = lda.print_topics(lda.num_topics) 

for t in topics: 
    print t 

참고하지만이 문제가되지해야한다고 생각 : 나는 LDA에 대한 기본 설정을 사용하고 있습니다. 직관적으로 불가리아어로 된 용어와 영어로만 된 용어가 있어야합니다.

Answer 1

이 논문에서는 10 가지 주제 모델을 사용하여 이러한 현상을 논의합니다.

소수의 주제로 LDA를 실행하면 뚜렷한 의미 론적 주제가 '키메라'주제로 병합됩니다 (David Mimno's term, 나는 믿습니다). "언어 당 약 6 천만 단어"가있는 코퍼스에 대해서만 4 가지 주제 만 있으면 거의 필연적입니다. 솔직하게 말하면, LDA가 다른 언어의 주제를 병합하기가 어려울 것 같지만 10 개의 주제가 충분하다는 사실에 놀랐습니다. 서로 다른 언어의 단어 쌍이 문장에 함께 표시되기 때문에.