Windows의 Hadoop

Cygwin에서 Windows의 Hadoop 용 샘플 단어 카운트 프로그램을 실행하려고합니다. 나는 Hadoop과 Cygwin을 설치했다. 나는 다음과 같은 오류를 받고 있어요Windows의 Hadoop

$ bin/hadoop jar hadoop-examples-1.0.1.jar wordcount input output

: 내가 경로 변수에 Cygwin에서 빈 경로를 설정 한

12/05/08 23:05:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
12/05/08 23:05:35 ERROR security.UserGroupInformation: PriviledgedActionException as:suresh cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-suresh\mapred\staging\suresh1005684431\.staging to 0700 
java.io.IOException: Failed to set permissions of path: \tmp\hadoop-suresh\mapred\staging\suresh1005684431\.staging to 0700 
     at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682) 
     at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655) 
     at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509) 
     at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344) 
     at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189) 
     at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116) 
     at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856) 
     at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at javax.security.auth.Subject.doAs(Subject.java:415) 
     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093) 
     at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850) 
     at org.apache.hadoop.mapreduce.Job.submit(Job.java:500) 
     at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530) 
     at org.apache.hadoop.examples.WordCount.main(WordCount.java:67) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:601) 
     at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68) 
     at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139) 
     at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:64) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:601) 
     at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

나는이 한 Statment를 사용하여 단어 수 프로그램을 실행합니다. 어떤 도움을 주셔서 감사합니다.

출처

2012-05-09 Suresh

의 중복 가능성 http://stackoverflow.com/ 질문/9755508/문제 - 실행 - 간단한 -지도 - 줄일 - hadoop - 예 - 인 - cygwin에서) –

다음 링크를 사용해보십시오 http://stackoverflow.com/a/19804468/1446276 – Abhijit

일부 버전의 Hadoop에 대해 알려진 문제입니다 (전체 설명은 https://issues.apache.org/jira/browse/HADOOP-7682 참조).

버전 1.0.2에서이 문제가 발생하여 다른 여러 버전을 시도했습니다.

은 결국 난 당신이 빈/하둡 - 설정 변경의 몇 가지를 확인해야합니다 다시 버전 0.22.0로 갈 경우 버전 0.22.0

로 다시 이동하여 작업을 얻었다. 쉬 스크립트 :

변경 대신 mapred 디렉토리의 mapreduce 디렉토리를 가리 키도록 HADOOP_MAPRED_HOME를 설정 라인.
네이티브 hadoop 설치를 위해 java.library.path를 설정하는 모든 코드를 주석 처리하십시오.

출처

2012-05-09 07:25:28 tophatsteve

고마워 스티브. 나는 이것을 시도 할 것이다. – Suresh

windows로 이식 된 hadoop의 버전 hadoop services for windows을 봐야합니다.

현재 베타 버전이지만 곧 출시 될 예정입니다.

출처

2012-05-09 20:47:24

필자는이 작업을 통해 작업이 전달되고 실행 된 작업 및 결과가 컴파일되는 지점까지 작업 할 수있었습니다.

en.wikisource.org/wiki/User:Fkorning/Code/Hadoop-on-Cygwin

[시그윈 심플 맵 감소 하둡 예를 실행하는 데 문제 (

출처

2012-05-16 11:10:22 FKorning

Windows의 Hadoop

답변

관련 문제