Java Lucene Stop Words 필터

Question

나는 약 ngrams를 컴파일하고자하는 약 500 문장이 있습니다. 정지 단어를 제거하는 데 문제가 있습니다. lucene StandardFilter와 StopFilter를 추가하려고 시도했지만 여전히 같은 문제가 있습니다.

for(String curS: Sentences) 
{ 
      reader = new StringReader(curS); 
      tokenizer = new StandardTokenizer(Version.LUCENE_36, reader); 
      tokenizer = new StandardFilter(Version.LUCENE_36, tokenizer); 
      tokenizer = new StopFilter(Version.LUCENE_36, tokenizer, stopWords); 
      tokenizer = new ShingleFilter(tokenizer, 2, 3); 
      charTermAttribute = tokenizer.addAttribute(CharTermAttribute.class); 

    while(tokenizer.incrementToken()) 
    { 
     curNGram = charTermAttribute.toString().toString(); 
     nGrams.add(curNGram);     //store each token into an ArrayList 
    } 
} 

예를 들어, 내가 테스트하고 첫 구절은 다음과 같습니다 : "에 수신 모든 사람은"여기 내 코드입니다. 이 예에서 curNGram은 "For"로 설정되어 있는데, 이는 내 목록 stopWords에서 정지 단어입니다. 또한이 예제에서 "every"는 중지 단어이므로 "person"이 첫 번째 ngram이어야합니다.

1. StopFiler를 사용할 때 왜 내 단어가 내 목록에 추가됩니까?

모든 도움을 주실 수 있습니다!

Answer 1

내게 올린 내용은 괜찮아 보입니다. 따라서 stopWords가 원하는 정보를 필터에 제공하지 않는 것으로 의심됩니다. 당신이하지 생각처럼,이 제품에 사용할 수있는 형식으로 넣어해야 보인다 목록이 생성 중지 단어 (I '는 말을'이라는 한 것)의 당신을 가정

//Let's say we read the stop words into an array list (A simple array, or any list implementation should be fine) 
List<String> words = new ArrayList(); 
//Read the file into words. 
Set stopWords = StopFilter.makeStopSet(Version.LUCENE_36, words, true); 

:

같은 시도 StopFilter.

이미 stopWords를 생성하셨습니까?