tf-idf와 코사인 유사성을 사용하여 추천 시스템을 구축하는 방법은 무엇입니까?

Question

나는 맥주 추천 엔진을 만들려고 노력했다. 나는 간단히 tf-idf와 Cosine 유사성을 사용하기로 결정했다.

import pandas as pd  
import re 
import numpy as np 
from bs4 import BeautifulSoup 
from sklearn.feature_extraction.text import TfidfVectorizer 
from nltk.corpus import stopwords 
from nltk.stem import WordNetLemmatizer 
wnlzer = WordNetLemmatizer() 


train = pd.read_csv("labeledTrainData.tsv" , header = 0 , \ 
    delimiter = '\t' , quoting = 3) 


def raw_string_to_list_clean_string(raw_train_review): 
    remove_html = BeautifulSoup(raw_train_review).text 
    remove_punch = re.sub('[^A-Za-z ]' , "" , remove_html) 
    token = remove_punch.lower().split() 
    srm_token = [wnlzer.lemmatize(i) for i in token if not i in set(stopwords.words('english'))] 
    clean_text = " ".join(srm_token) 
    return(clean_text) 

ready_train_list = [] 
length = len(train['review']) 
for i in range(0 , length): 
    if (i%100 == 0): 
     print "doing %d of %d of training data set" % (i+1 , length) 
    a = raw_string_to_list_clean_string(train['review'][i]) 
    ready_train_list.append(a) 

vectorizer = TfidfVectorizer(analyzer = "word" , tokenizer = None , preprocessor = None , \ 
    stop_words = None , max_features = 20000) 
training_our_vectorizer = vectorizer.fit_transform(ready_train_list)` 

가 지금은 코사인 유사성을 사용하는 방법을 알고`하지만 난 알아낼 수 없습니다입니다 : 여기

지금까지 내 코드입니다

1. 하는 코사인
를 사용하는 방법
2. 최대 5 개의 맥주로 추천을 제한하는 방법

Answer 1

간단한 구현은 th 전자 cdist을 사용하여 다른 맥주의 각 거리 다음은 argsort를 사용하여 권장 사항을 반환 :

from scipy.spatial.distance import cdist 
import numpy as np 

vec = TfidfVectorizer() 
beerlist = np.array(['heinekin lager', 'corona lager', 'heinekin ale', 'budweiser lager']) 
beerlist_tfidf = vec.fit_transform(beerlist).toarray() 
beer_tfidf = vec.transform(['heinekin lager']).toarray() 
rec_idx = cdist(beer_tfidf, beerlist_tfidf, 'cosine').argsort() 
print(beerlist[rec_idx[0][1:]]) 

#['heinekin ale' 'corona lager' 'budweiser lager']