Jupyter 노트북을 사용하여 Spark SQL을 사용하여 4 억 개의 행 풀기

Question

저는 Spark를 처음 접했고 결과 집합에 4 억 개의 행이있는 Spark SQL을 실행하려고했습니다. Jupyter 노트북에서 Spark SQL을 실행하고 있습니다. Azure HDInsight에서 Spark를 사용하고 있습니다. 집행 인의 3

번호 - - 5

집행자 메모리 - 4,098메가바이트

을만큼 나는 실행으로

집행자 당 코어의

1. 번호 : 스파크 클러스터의 구성은 다음과 처음 몇 줄을주고 쿼리를하면 모든 것이 잘 작동합니다. 그러나 모든 행, 즉 4 억 행을 꺼내려고하면 "집행자가 요청을 취소했습니다"라는 오류가 발생합니다.

   내가 알고 싶은 첫 번째 점은 Spark SQL 또는 Jupyter 노트북에서이 볼륨의 데이터를 가져올 수 있다는 것입니다.

   실제로이 볼륨을 가져올 수있는 경우, 내가 잘못하고있는 것은 무엇입니까?

   현재 정확한 오류 메시지가 표시되지 않으며 오류 메시지와 함께이 게시물을 곧 업데이트합니다.

   하지만 누구나 도움을받을 수 있다면 큰 도움이 될 것입니다.

   감사합니다.

Answer 1

일반적으로 400M 행을 구체화하려면 분산 계산이라는 개념에 위배됩니다. 성취하고자하는 것에 대한 세부 사항을 제공 할 수 있다면,이를 어떻게 병렬 방식으로 수행하는지 제안 할 수 있습니다. Spark에는 대부분의 사용 사례를 수용 할 수있는 유연한 API가 있습니다.

여전히 문제가 발생할 수 있습니다. 400M 행을 수집하면 드라이버 프로세스에서 누적됩니다. Azure HDInsight에서는 드라이버 프로세스가 얀 마스터 응용 프로그램에서 실행됩니다. 많은 양의 데이터를 저장할 충분한 메모리가 있도록 구성해야합니다. Jupyter의 구성은 다음과 같습니다

%% 구성 -f { "driverMemory": "60G"}

그냥 노트북에 별도의 세포로 추가.