내 작업이 모두 완료되었지만 내 응용 프로그램이 완료되지 않았 음을 알리는 스파크 응용 프로그램 (90Mo 입력)을 실행합니다. 마지막 메시지입니다 (이유는 무엇입니까?) SC가 성공적으로 중지했다고내 응용 프로그램이 스파크를 끝내지 못하는 이유
16/09/13 2시 17분 31초 정보 DAGScheduler를 얻을 : 작업 (15) 완료 : slowlyChangingDimension.java:244에서 saveAsTextFile을했다 1,222274의 16/09/13 02:17:38 정보 BlockManagerInfo : 메모리에서 10.0.10.45:46789의 broadcast_49_piece0을 제거했습니다. (크기 : 26.2KB, 무료 : 1424.7MB) 16/09/13 02:17:38 INFO BlockManagerInfo : 10.0.10.51에서 broadcast_49_piece0을 제거했습니다. 54860 in memory (크기 : 26.2KB, 무료 : 1424.7MB) 16/09/13 02:17:38 정보 BlockManagerInfo : 메모리에서 10.0.10.45:46789의 broadcast_48_piece0을 제거함 (크기 : 4.4KB, 무료 : 1424.7MB) 16/09/13 02:17:38 정보 BlockManagerInfo : 제거됨 (크기 : 4.4 KB, 무료 : 1458.5 MB) 16/09/13 02:17:38 INFO BlockManagerInfo : 메모리에서 10.0.10.47:51300의 broadcast_48_piece0을 제거함 (크기 : 4.4KB, free : 1458.5 MB) 16/09/13 02:17:38 정보 BlockManagerInfo : 메모리에서 10.0.10.51:54860의 broadcast_48_piece0을 제거함 (크기 : 4.4KB, 무료 : 1424.7MB) 16/09/13 02:17 : 38 INFO BlockManagerInfo : 메모리에 10.0.10.54:44644의 broadcast_48_piece0을 제거함 (크기 : 4.4KB, 무료 : 1458.6MB) 16/09/13 02:17:38 INFO BlockManagerInfo : 10.0.10.52:32794의 broadcast_48_piece0을 메모리에 제거했습니다. 크기 : 4.4KB, 무료 : 1458.6MB) 16/09/13 02:17 : 38 정보 BlockManagerInfo : 메모리에 10.0.10.45:46789의 broadcast_47_piece0을 제거했습니다. (크기 : 26.2KB, 무료 : 1424.7MB) 16/09/13 02:17:38 INFO BlockManagerInfo : 10.0.10.48:54348의 broadcast_47_piece0을 메모리에서 제거했습니다. 크기 : 26.2 KB, 무료 : 1458.6 MB) 16/09/13 2시 17분 38초 정보의 ContextCleaner : 청소 셔플이로 28
Spark Batch 응용 프로그램입니까, 아니면 Spark Streaming 응용 프로그램입니까? – Hokam
일괄 처리 – asma