MySQL에서 문자열을 어떻게 토큰화할 수 있습니까?

Question

내 프로젝트는 사람들 팀에 의해 수동으로 작성된 평면 Excel 파일에서 상당한 크기의 콜렉션 + 500K 행의 데이터를 가져옵니다. 이제 문제는 클라이언트 검색을 위해 모두 정규화해야한다는 것입니다. 예를 들어, 회사 필드에는 여러 회사 철자가 있으며 "IBM", "IBM"과 같은 지점이 포함됩니다. 또한 "A46-Rhizonme Pentahol"과 같이 영숫자로 된 제품 이름이 있습니다. SOUNDEX만으로는을 처리 할 수 ​​없습니다.

모든 데이터 입력이 웹 양식을 통해 이루어 지므로 AJAX가 자동으로으로 제안되어이 문제를 장기간에 걸쳐 해결할 수 있습니다. 그러나 그때까지는 기존 데이터를 엄청나게 수집해야합니다. 이것은 내가 여기 읽은 내용에 따라, 좋은 과정이다 내가 믿는 날을 제공합니다 :

이

http://msdn.microsoft.com/en-us/magazine/cc163731.aspx

단계 사용자 정의 퍼지 조회를 작성하고, 퍼지 로직은

1. 목록을 그룹화 항목
키워드로
2. 토큰 화 문자열
3. 계산 키워드 TF-IDF (전체 주파수 - 역 문서 동시에 빈번한)
4. 계산 levenshtein dista 가능한 알파 문자열에 대한 키워드 사이의 후부
5. 계산 Soundex와는
6. 키워드의 컨텍스트를 결정하는 등 "회사", "제품", "성분"

별도의 DB 테이블로 상황에 따라

장소 키워드,,,

나는이 문제에 대해 인터넷 검색, StackOverflow 검색, MySQL.com 토론 읽기, 미리 작성된 솔루션 찾기를 시도 해왔다. 어떤 아이디어?

Answer 1

Google Refine을 확인해야합니다.

구글 조정은 웹 서비스로 확장, 다른에 하나의 포맷에서 변환, 최대 그것을 청소, 지저분한 데이터로 작업하고하는 Freebase 같은 데이터베이스에 연결하는 전원 도구입니다.

Answer 2

그래서 포기하고 mysql 용 토큰 화 함수를 만들었습니다.

CREATE DEFINER = `root`@`localhost` FUNCTION `NewProc`(in_string VARCHAR(255), delims VARCHAR(255), str_replace VARCHAR(255)) 
RETURNS varchar(255) 
    DETERMINISTIC 
BEGIN 
    DECLARE str_len, delim_len, a, b, is_delim INT; 
    DECLARE z, y VARBINARY(1); 
    DECLARE str_out VARBINARY(256); 
    SET str_len = CHAR_LENGTH(in_string), delim_len = CHAR_LENGTH(delims),a = 1, b = 1, is_delim = 0, str_out = ''; 

    -- get each CHARACTER 
    WHILE a <= str_len DO 
     SET z = SUBSTRING(in_string, a, 1); 
     -- loop through the deliminators 
     WHILE b <= delim_len AND is_delim < 1 DO 
      SET y = SUBSTRING(delims, b, 1); 
      -- search for each deliminator 
      IF z = y THEN 
       SET is_delim = 1; 
      END IF; 
      SET b = b + 1; 
     END WHILE; 

     IF is_delim = 1 THEN 
      SET str_out = CONCAT(str_out, str_replace); 
     ELSE 
      SET str_out = CONCAT(str_out, z); 
     END IF; 

     SET b = 0; 
     SET is_delim = 0; 
     SET a = a + 1; 
    END WHILE; 
    RETURN str_out; 
END; 

그것은 다음과 같이 불렀다 :

strtok를 여기에 코드입니다 ("this.is.my.input.string가", ", :;.", "|")

및

를 반환 내가 다른 사람이이 유용한 발견 희망

"이 | 내 | | | 입력 문자열입니다." 건배!