두싯 LDA는 FileNotFound 예외를 제공

Question

다음과 같이 here을 언급 한 바와 같이 내 용어 벡터를 생성

:

~/Scripts/Mahout/trunk/bin/mahout seqdirectory --input /home/ben/Scripts/eipi/files --output /home/ben/Scripts/eipi/mahout_out -chunk 1 
~/Scripts/Mahout/trunk/bin/mahout seq2sparse -i /home/ben/Scripts/eipi/mahout_out -o /home/ben/Scripts/eipi/termvecs -wt tf -seq 

가 그럼 난

~/Scripts/Mahout/trunk/bin/mahout lda -i /home/ben/Scripts/eipi/termvecs -o /home/ben/Scripts/eipi/lda_working -k 2 -v 100 

을 실행하고 내가 얻을 :

조련사-JOB을 : /home/ben/Scripts/Mahout/trunk/examples/target/mahout-examples-0.6-SNAPSHOT-job.jar 11/09/04 16:28:59 정보 commo n.AbstractJob : 명령 줄 인수 : --endPhase = 2147483647, - 입력 =/home/ben/Scripts/eipi/termvecs, --maxIter = -1, --numTopics = 2, --numWords = 100, - -output =/home/ben/Scripts/eipi/lda_working, --startPhase = 0, --tempDir = temp, --topicSmoothing = -1.0} 11/09/04 16:29:00 정보 lda.LDADriver : LDA 반복 1 1 11/09/04 16:29:01 INFO input.FileInputFormat : 처리 할 총 입력 경로 : 4 11/09/04 16:29:01 INFO mapred.JobClient : 준비 영역 파일 정리 :/tmp /hadoop-ben/mapred/staging/ben692167368/.staging/job_local_0001 스레드 "main"의 예외 java.io.FileNotFoundException : 파일 파일 :/home/ben/Scripts/eipi/termvecs/tokenized-documents/data가 존재하지 않습니다. . at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus (RawLocalFileSystem.java:371) at org.apache.hadoop.fs.FilterFileSystem.getFileStatus (FilterFileSystem.java:245) at org.apache.hadoop.mapreduce. lib.input.SequenceFileInputFormat.listStatus (SequenceFileInputFormat.java:63) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits (FileInputFormat.java:252) at org.apache.hadoop.mapred.JobClient. writeNewSplits (JobClient.java : 902) at org.apache.hadoop.mapred.JobClient.writeSplits (JobClient.java:919) at org.apache.hadoop.mapred.JobClient.access $ 500 (JobClient.java:170) org.apache.hadoop.mapred.JobClient $ 2.run (JobClient.java:838) at org.apache.hadoop.mapred.JobClient $ 2.run (JobClient.jav a : 791) at java.security.AccessController.doPrivileged (네이티브 메소드) at javax.security.auth.Subject.doAs (Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation .java : 1059) at org.apache.hadoop.mapred.JobClient.submitJobInternal (JobClient.java:791) at org.apache.hadoop.mapreduce.Job.submit (Job.java:465) at org.apache .hadoop.mapreduce.Job.waitForCompletion (Job.java:494) at org.apache.mahout.clustering.lda.LDADriver.runIteration (LDADriver.java:426) at org.apache.mahout.clustering.lda.LDADriver .run (LDADriver.java:226) at org.apache.mahout.clustering.lda.LDADriver.run (LDADriver.java:174) at org.apache.hadoop.util.ToolRunner.run ((LDTriver.java:90) at LDAriver.main org.apache.hadoop.util에서 java.lang.reflect.Method.invoke (Method.java:597)에서 sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:25)에서 (NativeMethodAccessorImpl.java:39) .ProgramDriver $ ProgramDescription.invoke (ProgramDriver.java:68) at org.apache.hadoop.util.ProgramDriver.driver (ProgramDriver.java:139) at org.apache.mahout.driver.MahoutDriver.main (MahoutDriver.java : 188) at sun.reflect.NativeMethodAccessorImpl.invoke0 (기본 메소드) at .vlect (NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.자바 : java.lang.reflect.Method.invoke (Method.java:597 25) ) org.apache.hadoop.util.RunJar.main (RunJar.java:156에서)

이 맞아 , 해당 파일이 존재하지 않습니다. 나는 그것을 어떻게 만들어야 하나?

Answer 1

벡터가 비어있을 수도 있습니다. 작성시 문제가있을 수 있습니다. 벡터가 폴더에 성공적으로 만들어 졌는지 확인하십시오 (파일 크기가 0 바이트가 아님). 이 오류는 입력 폴더에 일부 파일이 누락 된 경우 발생할 수 있습니다. 이 경우,이 두 단계는 유효한 출력을 작성하지는 않지만 작동합니다.