아파치와 스프링 클라우드 데이터 흐름에 실패했습니다. YARN

Kafka-Zookeeper 및 Spring Cloud Dataflow 1.0.3을 사용하여 단일 노드 Apache YARN을 설치했습니다.아파치와 스프링 클라우드 데이터 흐름에 실패했습니다. YARN

모두 잘 작동하지만, 내가 만든 때와 같은 일부 배포 예 :

스트림은 "ticktock"--definition "시간 | HDFS --rollover = 100"--name을 만들

--deploy

http --port = 8000 | log --name = logtest --level = INFO

스트림의 상태가 "배포 됨"으로 유지되지 않습니다. 그것은 "undeployed"-> "parcial"-> "전개 된"상수 루프에서 계속 변경됩니다.

그러나 YARN 응용 프로그램은 성공적으로 배포되지만 Spring Cloud Dataflow 서버 인스턴스와 Apache Hadoop 사이의 통신과 같이 끊임없이 실패합니다.

어떤 문제가있을 수 있습니까?

미리 감사드립니다.

출처

2016-10-26 Juan Echeverria

배포 실패의 루프에 관해서는 일반적인 용의자가 app-master 및 yarn 컨테이너에 할당 된 메모리 주위에 있습니다. YARN에서 SCDF 서버를 어떻게 프로비저닝합니까? Ambari 플러그인을 사용하고 있습니까? (_if 아닙니다, 왜? _). 메모리 요구 사항에 대한이 [섹션] (http://docs.spring.io/spring-cloud-dataflow-server-yarn/docs/current-SNAPSHOT/reference/htmlsingle/#yarn-troubleshooting)을 검토하십시오. 재정의 할 수있는 [전역 설정] (http://docs.spring.io/spring-cloud-dataflow-server-yarn/docs/current-SNAPSHOT/reference/htmlsingle/#_global_yarn_memory_settings)이 있습니다. –

감사합니다! 우선 순위가 높은 다른 프로젝트가 많았지 만 Ambaby (Sabby Adannan이 언급 한 플러그인 포함)를 사용하여 모두 빌드 할 수있었습니다. 이제는 모두 잘 작동합니다!.

출처

2016-11-09 13:43:34

글쎄, 여기에는 많은 정보가 없지만 HDFS에 필요한 기본 디렉토리가 있는지 확인하고 원사 사용자에게 읽기/쓰기 권한이 있는지 확인하고자 할 수 있습니다.

spring.cloud.deployer.yarn.app.baseDir =/흐름 귀하의 답변에 대한 모든

출처

2016-10-27 10:57:23 franktylerva

안녕하세요! 대답 해줘서 고마워. HDFS 디렉토리를 어떻게 확인할 수 있습니까? SCDF 콘솔에서 제공하는 명령을 사용하고 있습니다. _hadoop fs ls_ 감사합니다. –

안녕하세요. _hadoop fs -mkdir -p/dataflow_ 그리고 SCDF 구성에 추가되었습니다. 모든 서비스 (SCDF 포함)를 실행하는 사용자는 모든 권한과 권한을가집니다. 그런 다음 간단한 배포를 테스트하면 오류가 지속됩니다. 내가 할 수있는 다른 수표는? 미리 감사드립니다. –

servers.yml 파일을 제공 할 수 있습니까? – franktylerva

아파치와 스프링 클라우드 데이터 흐름에 실패했습니다. YARN

답변

관련 문제