2013-08-26 1 views
0

나는 hdinsight에 대한 간단한지도/감속기 작업을 만들기 위해 노력하고 있지만 ASV를 통해 지역의 푸른 저장 에뮬레이터 로컬 hdinsight의 하둡 클러스터의 작업 연결에 문제가 있어요 : 이런 //로컬 스토리지 에뮬레이터의 Azure Storage Vault (ASV)를 가리 키도록 HDInsight의 입출력 경로를 설정하는 방법은 무엇입니까?

샘플 코드 :

var hadoop = Hadoop.Connect(); 
HadoopJobConfiguration config = new HadoopJobConfiguration(); 
config.InputPath = @"asv://127.0.0.1:10000/devstoreaccount1/testcontainer/input"; 
config.OutputFolder = "asv://127.0.0.1:10000/devstoreaccount1/testcontainer/output"; 
hadoop.MapReduceJob.Execute<Mapper1>(config); 

또는 testcontainer 로컬 에뮬레이터 B 기존 컨테이너이다

var hadoop = Hadoop.Connect(); 
HadoopJobConfiguration config = new HadoopJobConfiguration(); 
config.InputPath = @"asv://testcontainer/input"; 
config.OutputFolder = "asv://testcontainer/output"; 
hadoop.MapReduceJob.Execute<Mapper1>(config); 

로브 보관.

packageJobJar: [] [/C:/Hadoop/hadoop-1.1.0-SNAPSHOT/lib/hadoop-streaming.jar] C: \Users\user1\AppData\Local\Temp\1\streamjob6525516867576872971.jar tmpDir=null 
13/08/26 12:30:51 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
13/08/26 12:30:51 WARN snappy.LoadSnappy: Snappy native library not loaded 
13/08/26 12:30:51 INFO mapred.JobClient: Cleaning up the staging area hdfs://loc alhost:8020/hadoop/hdfs/tmp/mapred/staging/user1/.staging/job_201308221229_0010 
13/08/26 12:30:51 ERROR security.UserGroupInformation: PriviledgedActionExceptio n as:user1 cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs:/devstoreaccount1/testcontainer/input 
13/08/26 12:30:51 ERROR streaming.StreamJob: Error Launching job : Input path do es not exist: hdfs:/devstoreaccount1/testcontainer/input 

Streaming Command Failed! 

어떤 힌트 :이 코드를 실행하는 경우 은 내가 StreamingException

그리고 콘솔 출력에 다음과 같은 오류가 표시 "프로세스 ('! 스트리밍 작업을 실패') 실패"얻을?

답변

0

다음 경로 중 하나를 사용하여 로컬 저장소 에뮬레이터에 액세스 할 수 있습니다.

wasb : (저장 에뮬레이터가 기본 파일 시스템으로 설정되어있는 경우) /// 입력

는 ASV : // testcontainer의 @의 storageemulator/입력

이 wasb /// 입력 저장 에뮬레이터입니다 (기본 파일 시스템으로 설정, asv는 권장되지 않음)

관련 문제