어떻게 원격 비 dse (datastax) 노드에서 cfs url에 액세스 할 수 있습니까

Question

im ... 시도하는 중 ... 내 prog.

발 파일 = sc.textFile ("CFS : // IP/.....")

하지만 난 때 java.io.IOException를 얻을 : 체계도 파일 시스템 : CFS 예외를 ...

core-site.xml을 어떻게 수정해야합니까? 그것은 dse 노드에 있어야합니다 또는 내 항아리에 리소스로 추가해야합니다. maven을 사용하여 원격으로 jar 파일을 만들고 작업을 원격으로 실행합니다 ... cassandra 또는 spark 또는 이와 유사한 파일이없는 non dse 노드에서 ... cfs 파일이없는 다른 유형의 파일은 정상적으로 작동합니다 ... 그래서 jar 파일이 있습니다. 지금까지 확인 ...

Thnx! 내가 추가하여 해결 된 비 DSE 노드에서 하이브를 사용하는 문제에 대해 들어 http://www.datastax.com/documentation/datastax_enterprise/4.5/datastax_enterprise/spark/sparkCassProps.html

: 같은 CFS 액세스와 같은 일부 작업을 위해 하둡을 사용하여 불꽃에 대한이 페이지의 중간에 몇 가지 정보가있다

Answer 1

core-site.xml에 대한 특성 파일 이것은 실제로 Spark이므로 오래 가지 못합니다. 그러나 실험을 원할 경우 원격 시스템의 IP 주소를 core-site.xml 파일에 추가하십시오.

<property> 
<name>cassandra.host</name> 
<value>192.168.2.100</value> 
<property> 

설치 유형에 따라의/etc/DSE/하둡/conf의/또는 INSTALL_LOCATION/자원/하둡/conf의 /의 핵심-site.xml 파일을 찾을 수 있습니다. http://www.datastax.com/documentation/datastax_enterprise/4.5/datastax_enterprise/spark/sparkStart.html

Answer 2

오신 적이 꽤 시간 :

난 당신이 하둡과 불꽃 모드에서 DSE 클러스터를 시작 가정합니다.

호환은 hadoop 클라이언트와 호환 가능한 hadoop fs의 통합과 함께 일반적인 방식으로 수행됩니다. dse.yaml, cassandra.yaml과 함께 core-site.xml (거기에 dse-core-default.xml 추가)을 복사 한 다음 클래스 경로에 적절한 종속성 설정이 필요합니다. dse.jar, cassandra-all 등

참고 : 이것은 공식적으로 지원되지 않으므로 다른 방법을 사용하는 것이 좋습니다.