해시 테이블을 사용하여 문장 목록에서 가장 일반적인 구문을 찾는 방법

Question

모든 문장은 문장 부호가없는 소문자이며 문장이 3 연속 단어이므로 문장이있는 경우 : i jessica hunt

입니다.

그래서 문구는 파일의 모든 문장에서 현재의이

친절이에 대한 appropiate 해시 함수를 도와 경우

문구가 일반적이다 "제시카 사냥이다" "나는 제시카입니다"와 것 문제

Answer 1

아무거나 나옵니다. 세 개의 연속 단어의 수 (또는 해시 값)가 {a, b, c} 인 (3 * a + 5 * b + 7 * c)로 시작합니다. 공백 및 구두점

무시 (당연히 모든 부호 및 모듈러스 WORDSIZE) 말로

• tokenise은 슬라이딩 윈도우를 유지 해시 테이블로 (딕셔너리) 파일을 통해
• 단계, 생성 된 단어를 넣어 3 토큰 해시를 계산하기 위해
• 그리고이를 두 번째 해시 테이블에 넣거나 업데이트하십시오.
• 충돌 해결을 위해이 두 번째 해시 테이블은 원래 세 단어에 대한 (포인터, 인덱스) 액세스 권한이 있어야합니다.

Answer 2

제시카, 당신은 n-gram hasher가 문장 하나 (거의 동일 함)가 필요합니다. I는 초고속 N-g 리퍼 자유롭게에서 다운로드 가능 C에 쓴 : 이 http://www.sanmayce.com/Downloads/index.html#Leprechaun

요정은 "문장"이 두 3 그램까지 '내가 제시카 사냥이다'찢어 것 : i_am_jessica am_jessica_hunt을

아마 n-gramming이 너의 일이 될 것이다.