유니 그램 언어 모델의 단어 수는 얼마입니까?

Question

저는 유니 그램 언어 모델을 프로그래밍하고 싶습니다. 나는 각 단어의 출현 확률을 계산하는 것을 좋아한다. 그래서 단어의 출현 수를 뚜렷한 단어의 수 또는 훈련 세트의 전체 단어 수로 나눈다.

Answer 1

총 숫자 tokens으로 나누어집니다. 즉, 단어 세트는 훈련 세트에서 나타납니다. 그 이유는 아주 쉽게 볼 수 있습니다. 뚜렷한 단어의 수로 나누면, 모든 단어의 확률이 반드시 하나에 합쳐지는 것이 아니라 확률 분포를 형성하지 않을 것입니다.

Answer 2

언어 모델링에 대해 읽어 좋은 소개는 Jurafsky의 슬라이드 있습니다 http://www.stanford.edu/class/cs124/lec/languagemodeling.pdf