6
Spark에서 현재 작업의 ID를 가져와야합니다. Google과 공식 API에서 검색했지만 ID 번호는 RDD의 집행자 ID와 ID입니다. 누구든지 작업의 고유 ID를 얻는 방법을 알고 있습니까? 나는 클래스 TaskInfo
이 정확히 내가 무엇을 찾고 있는지를 보았지만이 클래스의 인스턴스를 얻는 방법을 모른다. 특정에 println가 현재 실행중인 노드가 아닌 드라이버 콘솔에 인쇄됩니다 마음에Java의 Spark에서 현재 작업 ID 가져 오기
import org.apache.spark.TaskContext;
textFile.map(x -> {
TaskContext tc = TaskContext.get();
System.out.println(tc.taskAttemptId());
});
곰 : 당신이 TaskContext를 사용할 수있는 특정 작업의 ID를 얻기 위해