ClassNotFoundException 데이터베이스와 상호 작용하는 동안 오류가 발생했습니다.

Question

기본 데이터베이스에서 실행되는 mapreduce 프로그램을 실행하려고했습니다. hadoop 다운로드에서 사용할 수있는 hadoop 배포판을 설치했을 때. 프로그램은이 배포판에서 잘 작동했습니다. 그러나 hadoop의 자체 배포판을 컴파일하고 동일한 프로그램을 실행하려고하면 아래 오류가 나타납니다. hadoop/lib 디렉토리에 mysql connector jar를 넣고 분산 캐시에 넣는 것과 같은 절차를 따랐다. 이 절차는 hadoop 다운로드에서 사용 가능했던 배포판에서 작동했지만 내가 만든 배포본에서는 작동하지 않았습니다. 누군가가 잘못되었을 수도있는 것을 친절하게 말할 수 있습니까? 나는 classpath와 HADOOP_CLASSPATH 변수를 업데이트하는 것과 같은 다른 모든 방법을 시도했지만 아무 것도 효과가 없었다.

를 사용하여 현재의 모든 항아리 종속성을 추가하려면 다음과 lib 디렉토리 :

hduser@ramanujan:~$ hadoop jar SimpleConn.jar 
13/04/15 13:50:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
13/04/15 13:50:17 INFO service.AbstractService: Service:org.apache.hadoop.yarn.client.YarnClientImpl is inited. 
13/04/15 13:50:17 INFO service.AbstractService: Service:org.apache.hadoop.yarn.client.YarnClientImpl is started. 
13/04/15 13:50:17 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/hduser/.staging/job_1366013851608_0001 
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 
    at org.apache.hadoop.mapreduce.lib.db.DBInputFormat.setConf(DBInputFormat.java:169) 
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:70) 
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:130) 
    at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:470) 
    at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:490) 
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387) 
    at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1218) 
    at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1215) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:415) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1489) 
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1215) 
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1236) 
    at DBCountPageView.run(DBCountPageView.java:227) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84) 
    at DBCountPageView.main(DBCountPageView.java:236) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:601) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212) 
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 
    at org.apache.hadoop.mapreduce.lib.db.DBInputFormat.getConnection(DBInputFormat.java:195) 
    at org.apache.hadoop.mapreduce.lib.db.DBInputFormat.setConf(DBInputFormat.java:163) 
    ... 21 more 
Caused by: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:423) 
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:356) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:188) 
    at org.apache.hadoop.mapreduce.lib.db.DBConfiguration.getConnection(DBConfiguration.java:148) 
    at org.apache.hadoop.mapreduce.lib.db.DBInputFormat.getConnection(DBInputFormat.java:189) 
    ... 22 more 

Answer 1

하면 다음 예제와 같은 작업을 제출시 모두 HADOOP_CLASSPATH 및 -libjars에 종속성을 추가해야합니다

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`echo *.jar`:`echo lib/*.jar | sed 's/ /:/g'` 

hadoop jar을 통해 작업을 시작할 때 -libjars을 사용하여 모든 종속성의 jar를 전달해야한다는 점에 유의하십시오. 내가 사용하려면 :

hadoop jar <jar> <class> -libjars `echo ./lib/*.jar | sed 's/ /,/g'` [args...] 

참고 :sed 명령은 다른 구분 문자를 필요로; HADOOP_CLASSPATH은 :으로 분리되고 -libjars은 ,으로 분리되어야합니다.