lzw 압축/압축 해제를 병렬로 수행 할 수 있습니까?

Question

나는 압축/LZW를 사용하여 데이터 압축 해제하는 방법에 대한 this article 읽었지만, 내가 여러 스레드를 사용하도록 찾고 있어요 ...하지만 난 그것이 불가능하다고 생각합니다. 어떻게 생각해? 이 주제에 대한 모든 논문이나 기사? 또는 그것을하는 방법에 대한 힌트.

Answer 1

this paper을 읽고 싶을 수도 있습니다. 특히 섹션 2.2에서는 LZW 체계를 병렬 처리하는 방법을 정확하게 설명합니다.

Answer 2

낮은 수준에서 압축 알고리즘을 병렬 처리하면 제한된 속도 향상을 제공하며 가치가있는 것보다 더 많은 문제가 발생할 수 있습니다. 그 이유는 대량의 데이터를 압축 할 때 실질적인 이점이 있다는 것입니다. 이 경우 데이터를 조각으로 나누고 일반 알고리즘으로 개별적으로 압축하는 것이 훨씬 쉽습니다.

LZW는 오래되었지만별로 효과가 없습니다. 다른 방법은 더 빠르고 효과적으로 압축 할 수 있습니다. 당신은 가장 좋은 압축으로 가장 빠른 압축에서 가장 느린 압축까지의 시퀀스로 lz4에서 zlib까지 lzma에서 ppmd, paq 등의 다양한 구성표를 볼 수 있습니다. 병렬화의 예는 pigz이며, zlib을 사용하여 큰 파일을 gzip format에 압축 할 수 있습니다. 이전 블록에서 이후 블록까지의 히스토리를 병렬 방식으로 제공하여 직렬의 단일 프로세서 gzip 압축과 비교하여 압축 효과를 잃지 않도록합니다.