AWS에서 25 분 이상 걸리는 간단한 작업이 있습니다. DPU의 수를 10 개에서 100 개 (허용되는 최대 값)로 변경했지만 작업에는 여전히 13 분이 소요됩니다.AWS Glue의 성능을 향상시키는 방법은 무엇입니까?
성능 향상에 대한 다른 제안 사항이 있으십니까?
AWS에서 25 분 이상 걸리는 간단한 작업이 있습니다. DPU의 수를 10 개에서 100 개 (허용되는 최대 값)로 변경했지만 작업에는 여전히 13 분이 소요됩니다.AWS Glue의 성능을 향상시키는 방법은 무엇입니까?
성능 향상에 대한 다른 제안 사항이 있으십니까?
나는 동일한 행동을 발견했습니다.
제 생각에 업무 시간에는 EMR 클러스터가 회전하는 데 몇 분이 걸립니다. 따라서 8 분 (추측)이라면 일자리 시간은 17 시간에서 5 시간 사이가됩니다.
직장을 살펴볼 수 있습니까? 간혹 단순하지 않을 수도 있습니다. 우리는 DynamicFrame.map 변환을 사용하는 것과 같은 간단한 작업이 실제로 느리고 tmp 테이블을 사용하고 SQLContext를 사용하여 데이터를 매핑하는 것이 더 낫다는 것을 발견했습니다