hdfs에서 java를 사용하여 파일을 압축하는 방법

Question

hdfs/hadoop을 처음 사용하고 hdfs 디렉토리에있는 파일을 압축하는 방법을 알아야합니다. hdfs : // sandbox : 8020/some/path.

나는

 Path p = new Path("/my/path/test1.gz"); 
     FSDataOutputStream os = fs.create(p); 

     GZIPOutputStream gzipOs = new GZIPOutputStream(new BufferedOutputStream(os)); 

     Path filePath = file.getPath(); 
     FSDataInputStream is = fs.open(filePath); 

     System.out.println("Writing gzip"); 

     byte[] buffer = new byte[1024]; 
     int len; 
     while((len= is.read(buffer)) != -1){ 
     gzipOs.write(buffer, 0, len); 
     } 
     //close resources 
     is.close(); 
     gzipOs.close(); 

을 시도했지만 작동하지 않습니다.

제안 사항? 미리 감사드립니다.

Answer 1

아래 코드는 Tom White의 확실한 안내서입니다.

public class StreamCompressor { 
    public static void main(String[] args) throws Exception { 

    String codecClassname = args[0]; 
    Class<?> codecClass = Class.forName(codecClassname); 
    Configuration conf = new Configuration(); 
    CompressionCodec codec = (CompressionCodec) 
    ReflectionUtils.newInstance(codecClass, conf); 
    CompressionOutputStream out = codec.createOutputStream(System.out); 
    IOUtils.copyBytes(System.in, out, 4096, false); 
    out.finish(); 
} 
}