Standard 토큰 필터는 Elasticsearch에서 정확히 무엇을합니까?

Question

There are no examples in the documentation 나는 입력 한 내용에서 무엇을 기대해야하는지 궁금합니다.

Answer 1

Elasticsearch 0.16 (Lucene 3.1) 이전 표준 토큰 필터는 "표준 토크 나이저로 추출 된 토큰을 정규화"했습니다. 구체적으로 말하자면 약어 및 단어의 끝에 's을 제거하는 것이 었습니다. 따라서, Apple'sC.E.O은 표준 필터를 통과 한 후에 AppleCEO이됩니다. Elasticsearch 0.16 (Lucene 3.1)부터 표준 토큰 필터는 nothing (적어도 현재는)입니다. 단순히 토큰을 체인의 다음 필터로 전달합니다.

Answer 2

다음은 Lucene 트렁크의 StandardFilter 소스 코드 중 일부입니다. 그것은 정말로 아무것도하지 않습니다.

public final boolean incrementToken() throws IOException { 
    return input.incrementToken(); // TODO: add some niceties for the new grammar 
}