2015-01-21 4 views
2

저는 Apache Spark을 사용하여 응용 프로그램을 작성하고 있습니다. a spark-jobserver Tachyon : 이름 바꾸기 오류

내가 타키온에 새로 온 사용 타키온

  • 를 사용

    1. : 다른 응용 프로그램에서 사용할 수있는 RDDs 나는 두 가지 방법을 시도하고 확인하십시오. a Running Tachyon on a Cluster

      URL에 master:19999 URL에서 액세스 할 수 있습니다. 나는 성공적으로 디렉토리 ./bin/tachyon tfs mkdir /Test 을 만든 타키온 디렉토리에서

      하지만 다음과 같은 오류지고있어 copyFromLocal 명령을 수행하는 동안 :

      FailedToCheckpointException(message:Failed to rename hdfs://master:54310/tmp/tachyon/workers/1421840000001/8/93 to hdfs://master:54310/tmp/tachyon/data/93) 
      
  • +0

    나는 똑같은 문제가 있습니다. copyFromLocal이 실패한 후에 파일은'tfs ls'를 사용하여 "In Memory"로 표시되지만 파일 중 하나를'tfs cat '하려고하면 "incomplete"로보고됩니다 : _data/test.txt 파일이 아닙니다. 완전한._ – taranaki

    답변

    0

    당신이 가장 가능성이 다른 아래 타키온과 불꽃 jobserver을 실행을 사용자가 HDFS를 underFS로 사용합니다.

    https://tachyon.atlassian.net/browse/TACHYON-1339 및 관련 패치를 확인하십시오.

    쉬운 방법은 tachyon과 스파크 작업 서버를 동일한 사용자로 실행하는 것입니다.

    패치를 설치하고 spark를 다시 컴파일 한 다음 패치 된 클라이언트를 사용하여 sjs를 재 작성하는 것이 (약간) 힘듭니다.