0
나는 큰 테이블을 읽고 100,000 개의 작업을 생성하기 위해 spark-sql을 사용합니다.스파크 작업이 너무 많습니다.
num_of_partitions를 설정할 수 있지만 작은 테이블과 동일한 작업을 수행 할 수 있습니다.
Is there any way to limit the size of each partition ?
A
답변
0
현재 Spark는 파티션 크기 제한을 지원하지 않습니다. 작업 수를 줄이려면 파티션 번호를 더 작은 숫자로 설정해야합니다.
이제 일반적으로 사용되는 트릭은 데이터 크기에 따라 파티션 수를 동적으로 설정하는 것입니다. 일반적으로 파티션을 HDFS 블록 크기 (128MB)와 동일하게 지정하려고합니다. 데이터의 각 행의 크기를 알고있는 경우 파티션 당 유지할 행 수를 계산할 수 있습니다. 그 값이 그럼 당신은
dataframe.count/x
관련 문제
- 1. 스파크, 아니 스파크 작업이
- 2. '열려있는 파일이 너무 많습니다.'오류
- 3. 리디렉션이 너무 많습니다.
- 4. 데이터베이스 업데이트가 너무 많습니다.
- 5. futex() 호출이 너무 많습니다.
- 6. 동적 어셈블리가 너무 많습니다.
- 7. WCF 채널이 너무 많습니다.
- 8. HTTP 리디렉션이 너무 많습니다.
- 9. 쿼리 결과가 너무 많습니다.
- 10. 수식에는 인수가 너무 많습니다.
- 11. 리디렉션이 너무 많습니다.
- 12. MatPlotLib에 패딩이 너무 많습니다.
- 13. JDBC 연결이 너무 많습니다.
- 14. "New": 인수가 너무 많습니다.
- 15. 초기화 프로그램이 너무 많습니다.
- 16. MS 액세스가 너무 많습니다.
- 17. 요청이 너무 많습니다. FirebaseError
- 18. 코드가 너무 많습니다.
- 19. Laravel - 리디렉션이 너무 많습니다.
- 20. 반복 횟수가 너무 많습니다.
- 21. XDocument.Descendants() 필터가 너무 많습니다.
- 22. PHP 쿠키가 너무 많습니다.
- 23. "열린 파일이 너무 많습니다"
- 24. 활동의 조회수가 너무 많습니다.
- 25. OpenGL - 텍스처가 너무 많습니다.
- 26. MakeFile 오류가 너무 많습니다.
- 27. 스크립트 문이 너무 많습니다.
- 28. NUnit에서 인수가 너무 많습니다.
- 29. 연결이 너무 많습니다.
- 30. crossdomain.xml 요청이 너무 많습니다.
가되도록 num_of_partitions을 설정할 수 있습니다하지만 다른 테이블에 동일한 코드를 사용하려면 X를
라고하자, 큰 테이블 작은 테이블보다 더 많은 파티션이 필요합니다. – no123ff
dataframe.count/x는 다른 파티션 번호를 설정합니다. 이제는 각 테이블의 행 크기 (x)를 알아 내야합니다. 이 숫자는 매개 변수화 될 수 있습니다. 이 경우 동일한 코드가 크고 작은 테이블에서 작동합니다. –
아, 무슨 뜻인지는 알지만 ... 숫자가 너무 커지면 카운트가 너무 비쌀 것입니다. 그렇죠? – no123ff