더 나은 문서 계산 방법 Lucene을 사용한 유사성

Question

색인 생성시 TermVector를 지정하여 Lucene을 사용하여 문서 모음에 대해 색인을 생성합니다. 그런 다음 색인을 읽고 각 문서에 대한 TF-IDF 점수 벡터를 계산하여 용어와 빈도를 검색합니다. 그런 다음 TF-IDF 벡터를 사용하여 Wikipedia's cosine similarity equation을 사용하여 문서 사이의 쌍간 코사인 유사성을 계산합니다.

이것이 내 문제입니다. A와 B가 두 세트 (A와 B가 200 개가 넘는 문장) 인이 컬렉션에 두 개의 동일한 문서가 있다고 가정 해보십시오. A와 B 사이의 pairwise 코사인 유사성을 계산하면 코사인 값 = 1을 얻을 수 있습니다. 이것은 완벽하게 정상입니다. 그러나 Doc "B"에서 한 문장을 제거하면이 두 문서 사이의 코사인 유사도가 약 0.85가됩니다. 문서는 거의 비슷하지만 코사인 값은 없습니다. 문제는 내가 사용하고있는 방정식을 이해합니다.

문서간에 코사인 유사성을 계산하는 데 사용할 수있는 더 나은 방법/수식이 있습니까?

편집

이 내가 코사인 유사성, doc1[] 및 doc2[] 문서에 대응하기위한 TF-IDF 벡터입니다을 계산하는 방법이다. 벡터는 내 의견에 말했듯, 나는 당신이 어딘가에 실수를 생각에만 scores 아니라 words

private double cosineSimBetweenTwoDocs(float doc1[], float doc2[]) { 
    double temp; 
    int doc1Len = doc1.length; 
    int doc2Len = doc2.length; 
    float numerator = 0; 
    float temSumDoc1 = 0; 
    float temSumDoc2 = 0; 
    double equlideanNormOfDoc1 = 0; 
    double equlideanNormOfDoc2 = 0; 
    if (doc1Len > doc2Len) { 
     for (int i = 0; i < doc2Len; i++) { 
      numerator += doc1[i] * doc2[i]; 
      temSumDoc1 += doc1[i] * doc1[i]; 
      temSumDoc2 += doc2[i] * doc2[i]; 
     } 
     equlideanNormOfDoc1=Math.sqrt(temSumDoc1); 
     equlideanNormOfDoc2=Math.sqrt(temSumDoc2); 
    } else { 
     for (int i = 0; i < doc1Len; i++) { 
      numerator += doc1[i] * doc2[i]; 
      temSumDoc1 += doc1[i] * doc1[i]; 
      temSumDoc2 += doc2[i] * doc2[i]; 
     } 
     equlideanNormOfDoc1=Math.sqrt(temSumDoc1); 
     equlideanNormOfDoc2=Math.sqrt(temSumDoc2); 
    } 

    temp = numerator/(equlideanNormOfDoc1 * equlideanNormOfDoc2); 
    return temp; 
} 

Answer 1

가 포함되어 있습니다. 벡터에는 <word,frequency> 쌍이 포함되며 실제로는 words이 아닙니다. 따라서 문장을 삭제하면 해당 단어의 빈도 만 1에서 뺍니다 (이후 단어는 이동하지 않음).

문서화 : 다음 예를 고려

A B C A A B C. D D E A B. D A B C B A. 

문서 B :

A B C A A B C. D A B C B A. 

벡터 A :

A:6, B:5, C:3, D:3, E:1 

벡터 B :

A:5, B:4, C:3, D:1, E:0 

다음 유사성 측정 결과

:

(6*5+5*4+3*3+3*1+1*0)/(Sqrt(6^2+5^2+3^2+3^2+1^2) Sqrt(5^2+4^2+3^2+1^2+0^2))= 
62/(8.94427*7.14143)= 
0.970648 

편집 나는 소스 코드뿐만 아니라 작동하지 않습니다 생각합니다. 위의 예제에서 잘 작동하는 다음 코드를 고려하십시오.

import java.util.HashMap; 
import java.util.Map; 

public class DocumentVector { 
    Map<String, Integer> wordMap = new HashMap<String, Integer>(); 

    public void incCount(String word) { 
     Integer oldCount = wordMap.get(word); 
     wordMap.put(word, oldCount == null ? 1 : oldCount + 1); 
    } 

    double getCosineSimilarityWith(DocumentVector otherVector) { 
     double innerProduct = 0; 
     for(String w: this.wordMap.keySet()) { 
      innerProduct += this.getCount(w) * otherVector.getCount(w); 
     } 
     return innerProduct/(this.getNorm() * otherVector.getNorm()); 
    } 

    double getNorm() { 
     double sum = 0; 
     for (Integer count : wordMap.values()) { 
      sum += count * count; 
     } 
     return Math.sqrt(sum); 
    } 

    int getCount(String word) { 
     return wordMap.containsKey(word) ? wordMap.get(word) : 0; 
    } 

    public static void main(String[] args) { 
     String doc1 = "A B C A A B C. D D E A B. D A B C B A."; 
     String doc2 = "A B C A A B C. D A B C B A."; 

     DocumentVector v1 = new DocumentVector(); 
     for(String w:doc1.split("[^a-zA-Z]+")) { 
      v1.incCount(w); 
     } 

     DocumentVector v2 = new DocumentVector(); 
     for(String w:doc2.split("[^a-zA-Z]+")) { 
      v2.incCount(w); 
     } 

     System.out.println("Similarity = " + v1.getCosineSimilarityWith(v2)); 
    } 

}