WARN snappy.LoadSnappy : Snappy 네이티브 라이브러리가로드되지 않았습니다.

Question

나는이 오류를 제거 할 수 없습니다. 나는 snappy가 빠르고 다른 압축 옵션보다 압축/압축 해제 라이브러리가 더 좋습니다. 내 처리를 위해이 라이브러리를 사용하고 싶습니다. 내가 아는 한 Google은 내부적으로 BigTables, MapReduce (기본적으로 모든 킬러 애플리케이션 용)를 사용합니다. 나는 내 연구를했다. 사람들은 그것을 사용하지 않겠다는 제안을하거나 java-snappy를 옵션으로 제안하지만 hadoop snappy를 고수하고 싶습니다. 설치시 해당 라이브러리가 있습니다. (lib 아래에 있음)

누군가이 오류를 해결할 수 있습니까? 이 오류와 상관없이 작업이 성공적으로 완료된 것을 알 수 있습니다.

****hdfs://localhost:54310/user/hduser/gutenberg 
12/06/01 18:18:54 INFO input.FileInputFormat: Total input paths to process : 3 
12/06/01 18:18:54 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
12/06/01 18:18:54 WARN snappy.LoadSnappy: Snappy native library not loaded 
12/06/01 18:18:54 INFO mapred.JobClient: Running job: job_201206011229_0008 
12/06/01 18:18:55 INFO mapred.JobClient: map 0% reduce 0% 
12/06/01 18:19:08 INFO mapred.JobClient: map 66% reduce 0% 
12/06/01 18:19:14 INFO mapred.JobClient: map 100% reduce 0% 
12/06/01 18:19:17 INFO mapred.JobClient: map 100% reduce 22% 
12/06/01 18:19:23 INFO mapred.JobClient: map 100% reduce 100% 
12/06/01 18:19:28 INFO mapred.JobClient: Job complete: job_201206011229_0008 
12/06/01 18:19:28 INFO mapred.JobClient: Counters: 29 
12/06/01 18:19:28 INFO mapred.JobClient: Job Counters 
12/06/01 18:19:28 INFO mapred.JobClient:  Launched reduce tasks=1 
12/06/01 18:19:28 INFO mapred.JobClient:  SLOTS_MILLIS_MAPS=22810 
12/06/01 18:19:28 INFO mapred.JobClient:  Total time spent by all reduces waiting after reserving slots (ms)=0 
12/06/01 18:19:28 INFO mapred.JobClient:  Total time spent by all maps waiting after reserving slots (ms)=0 
12/06/01 18:19:28 INFO mapred.JobClient:  Launched map tasks=3 
12/06/01 18:19:28 INFO mapred.JobClient:  Data-local map tasks=3 
12/06/01 18:19:28 INFO mapred.JobClient:  SLOTS_MILLIS_REDUCES=14345 
12/06/01 18:19:28 INFO mapred.JobClient: File Output Format Counters 
12/06/01 18:19:28 INFO mapred.JobClient:  Bytes Written=880838 
12/06/01 18:19:28 INFO mapred.JobClient: FileSystemCounters 
12/06/01 18:19:28 INFO mapred.JobClient:  FILE_BYTES_READ=2214849 
12/06/01 18:19:28 INFO mapred.JobClient:  HDFS_BYTES_READ=3671878 
12/06/01 18:19:28 INFO mapred.JobClient:  FILE_BYTES_WRITTEN=3775339 
12/06/01 18:19:28 INFO mapred.JobClient:  HDFS_BYTES_WRITTEN=880838 
12/06/01 18:19:28 INFO mapred.JobClient: File Input Format Counters 
12/06/01 18:19:28 INFO mapred.JobClient:  Bytes Read=3671517 
12/06/01 18:19:28 INFO mapred.JobClient: Map-Reduce Framework 
12/06/01 18:19:28 INFO mapred.JobClient:  Map output materialized bytes=1474341 
12/06/01 18:19:28 INFO mapred.JobClient:  Map input records=77932 
12/06/01 18:19:28 INFO mapred.JobClient:  Reduce shuffle bytes=1207328 
12/06/01 18:19:28 INFO mapred.JobClient:  Spilled Records=255962 
12/06/01 18:19:28 INFO mapred.JobClient:  Map output bytes=6076095 
12/06/01 18:19:28 INFO mapred.JobClient:  CPU time spent (ms)=12100 
12/06/01 18:19:28 INFO mapred.JobClient:  Total committed heap usage (bytes)=516882432 
12/06/01 18:19:28 INFO mapred.JobClient:  Combine input records=629172 
12/06/01 18:19:28 INFO mapred.JobClient:  SPLIT_RAW_BYTES=361 
12/06/01 18:19:28 INFO mapred.JobClient:  Reduce input records=102322 
12/06/01 18:19:28 INFO mapred.JobClient:  Reduce input groups=82335 
12/06/01 18:19:28 INFO mapred.JobClient:  Combine output records=102322 
12/06/01 18:19:28 INFO mapred.JobClient:  Physical memory (bytes) snapshot=605229056 
12/06/01 18:19:28 INFO mapred.JobClient:  Reduce output records=82335 
12/06/01 18:19:28 INFO mapred.JobClient:  Virtual memory (bytes) snapshot=2276663296 
12/06/01 18:19:28 INFO mapred.JobClient:  Map output records=629172 

P .: 현재는 빠른 압축 및 압축 해제가 중요하지 않은 작은 데이터 세트로 작업하고 있습니다. 그러나 일단 작업 흐름이 있으면 대규모 데이터 세트를로드합니다.

Answer 1

스 니펫 공유 라이브러리 (.so)가 LD_LIBARAY_PATH/java.library.path에없는 경우이 오류 메시지가 표시됩니다. 라이브러리를 올바른 위치에 설치 한 경우 위의 오류 메시지가 표시되지 않습니다.

hadoop 기본 라이브러리 (libhadoop.so)와 동일한 폴더에 .so가 설치된 경우 위의 '오류'는 작업을 제출하는 노드와 관련 될 수 있습니다 (예 : 사용자의 작업 오류가 아니며 클라이언트 쪽에서 메시지처럼 보입니다.)

출력 구성 및 관련 압축 옵션을 구성하는 작업 구성에 대한 일부 정보를 공유 할 수 있습니까?