복잡한 동의어 일치

Question

Solr과 일치하는 일부 동의어를 수행해야합니다.

예를 들어 스웨덴의 길 이름은 일반적으로 Foogatan의 형식입니다. 여기서 gatan은 영어로 된 이름입니다. 이 거리의 이름은 내가 어떻게 synonyms.txt 작품에 대해 잘 알고 있어요 (당신이 영어로 street에 대한 st. 쓰기 좀처럼)

Foog.처럼 축약 기입 할 수 있지만 나는 그것이 포함되어 있는지 확인합니다 동의어를 생성하는 방법을 모른다 gatan 전 또는 g. 전의 일부 문자.

*g. 및 *gatan과 일치하는 동의어가 필요합니다.

내가이 일을 결국은

public boolean incrementToken() throws IOException { 

    // See http://solr.pl/en/2012/05/14/developing-your-own-solr-filter/ 

    if (!input.incrementToken()) return false; 

    String string = charTermAttr.toString(); 

    boolean containsGatan = string.contains("gatan"); 
    boolean containsG = string.contains("g."); 

    if (containsGatan) { 

     string = string.replace("gatan", "g."); 

     char[] newBuffer = string.toCharArray(); 

     charTermAttr.setEmpty(); 
     charTermAttr.copyBuffer(newBuffer, 0, newBuffer.length); 

     return true; 
    } 

    if (containsG) { 

     string = string.replace("g.", "gatan"); 

     char[] newBuffer = string.toCharArray(); 

     charTermAttr.setEmpty(); 
     charTermAttr.copyBuffer(newBuffer, 0, newBuffer.length); 

     return true; 
    } 

    return false; 
} 

이 또한 내가 가진 유사한 문제가 당신이 031-123456의 형태로 전화 번호를 쓸 수 있다는 것입니다 (난 후 무엇을 거친 초안으로 작동하는 것 같다) 및 031123456. 031123456과 같은 전화 번호를 검색 할 때 찾기 031-123456

Solr에서 어떻게 구현할 수 있습니까?

Answer 1

처음에는 사용자 정의 TokenFilter을 작성하고 분석기에 연결할 수 있습니다 (간단한 예는 org.apache.lucene.analysis.ASCIIFoldingFilter을 참조하십시오). 숫자와 숫자 만에 대한 색인/검색 문자 '-' http://docs.lucidworks.com/display/solr/CharFilterFactories

제거해야 할 것입니다 :

두 번째는 아마도 PatternReplaceCharFilterFactory를 사용하여 해결할 수 있습니다. 비슷한 질문 : 각 토큰의 끝에서 Solr PatternReplaceCharFilterFactory not replacing with specified pattern

간단한 예를 제거 gatan :

public class Gatanizer extends TokenFilter { 

    private final CharTermAttribute termAttribute = addAttribute(CharTermAttribute.class); 

    /** 
    * Construct a token stream filtering the given input. 
    */ 
    protected Gatanizer(TokenStream input) { 
     super(input); 
    } 

    @Override 
    public boolean incrementToken() throws IOException { 
     if (input.incrementToken()) { 

      final char[] buffer = termAttribute.buffer(); 
      final int length = termAttribute.length(); 

      String tokenString = new String(buffer, 0, length); 
      tokenString = StringUtils.removeEnd(tokenString, "gatan"); 

      termAttribute.setEmpty(); 
      termAttribute.append(tokenString); 

      return true; 
     } 

     return false; 
    } 

} 

그리고 내 TokenFilter 일부 SOLR 필드에 등록했습니다

<fieldtype name="gatan" stored="false" indexed="false" multiValued="true" class="solr.TextField"> 
     <analyzer> 
      <tokenizer class="solr.StandardTokenizerFactory"/> 
      <filter class="solr.LowerCaseFilterFactory"/> 
      <filter class="solr.ASCIIFoldingFilterFactory"/> 
      <filter class="gatanizer.GatanizerFactory"/> 
     </analyzer> 
    </fieldtype> 

또한거야 몇 가지 간단한 GatanizerFactory을 반환해야합니다. Gatanizer