아파치 스파크 구현

나는 struts2 프레임 워크를 사용하여 자바의 웹 애플리케이션에서 아파치 스파크를 구현하는 가장 좋은 해결책을 찾기 위해 많은 노력을 기울였다.아파치 스파크 구현

나는 운전자와 근로자에게 사용할 수있는 기계가 거의 없다.

나는 많은 DB 작업을 수행하는 웹 응용 프로그램을 가지고 있으며 hdfs를 사용하여 스파크로 수행하려고합니다.

로컬의 단일 독립형 Java 프로젝트에서 spark를 실행할 수 있지만 클러스터로 사용하고 싶습니다.

웹에서 사용할 수있는 많은 스레드와 정보를 읽었지만 클러스터에서 구현할 수있는 방법을 찾을 수 없으므로 내 응용 프로그램에 필요한 거대한 처리가 스파크로 수행됩니다.

내가 클라우 데라이나 아마존 서비스와 같은 유료 서비스를 사용할 수있는 상태가 아니다 ... 여기

2016-08-09 salman hussain

을 가지고 [*] 등 지역 대신 클러스터 모드에서 응용 프로그램을 실행하는 주인의 URL을 제공해야합니다 본 [Hortonworks 클러스터] (https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_installing_manually_book/content/ch_getting_ready_chapter.html)? – Raskayu

는 마스터와 슬레이브에 불꽃의 설치에 대한 단계별 가이드입니다. 그것은 꽤 포괄적 :

http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/

성공하면, 당신은 전체 클러스터를 보여줍니다 마스터에 스파크 UI를 볼 수 있어야합니다. 틀림없이 설치 과정이 길다. 나 자신도 그 과정을 겪었으므로 특별한 질문이 있으시면 언제든지 물어보십시오.

응용 프로그램이 한번만 실행합니다 spark-submit 스크립트를 사용

./bin/spark-submit \ 
    --class <main-class> \ 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments]

하는

출처

2017-04-08 15:21:28 tsar2512

아파치 스파크 구현

답변

관련 문제