문서 비교 소프트웨어 만들기

Question

두 문서의 텍스트를 읽고 비교하여 두 문서간에 텍스트가 복사되었는지 확인할 수있는 응용 프로그램을 만들고 싶습니다. 나는 누군가가 이것을 시도한 적이 있는지, 그리고 그것을 처리하는 최선의 방법이 무엇인지를 알고 싶었다. 기계 학습 및 자연 언어 처리가 관련된 경우 : 어떤 수준으로?

Answer 1

나는 Copyscape이 4-grams을 사용하여 고유성을 결정하는 데 도움이된다고 생각합니다.

이러한 문자열은 N-Grams이라고합니다.

그러나, another SO answer는 문자 기반에 language independent algo comparing bi-grams에 연결. 이미 Java로 구현되었으므로 시간을 절약 할 수 있습니다.

Answer 2

은 세트 이론적 개념

에 전적으로 의존하는 기술 좋은 시작을 http://en.wikipedia.org/wiki/W-shingling 시도가있다.