자연 언어 처리를 사용하여 텍스트를 압축 할 수 있습니까?

Question

가장 자주 사용되는 영어 단어를 사용하여 큰 텍스트 블록을 압축하려고 생각했지만, 이제는 lzw가 더 좋은 방법으로이를 구현하는 것 같아서 이제는 효율적일 것입니다.

여전히 문장의 구조를 분석하여 더 작은 데이터 조각으로 구성하는 것이 가능하고 구조가 정확하게는 아니기 때문에 문자 하나 하나를 압축하는 느낌을 약간 "잔인한"느낌으로 흔들 수 없습니다. 압축을 풀 때와 마찬가지로 고전적인 압축 방법을 사용할 수 있습니다.

"기본"NLP가 허용합니까?

Answer 1

NLP?

표준 압축 기술은 문자 대신 단어에 적용 할 수 있습니다. 이 기술들은 선행 단어에 기초하여 다음 단어가 될 확률을 할당합니다. 문자보다 많은 단어가 있기 때문에 저비용의 메모리 사용과 저수준 모델의 경우 과도한 실행 시간을 초래하기 때문에 실제로는 보지 못했습니다.