스파크 데이터 프레임에 레코드의 입력 파일 이름을 얻는 방법은 무엇입니까?

Question

s3에서 탭으로 구분 된 파일을로드하여 spark에서 데이터 프레임을 만듭니다. 추가 처리를 위해 데이터 프레임의 각 레코드에 대한 입력 파일 이름 정보를 가져와야합니다. 시도했다

dataframe.select(inputFileName()) 

하지만 input_file_name에 null 값이 표시됩니다. 누군가이 문제를 해결하도록 도와주세요.

Answer 1

당신은 withColumn 및 input_file_name를 사용하여 데이터 프레임에 새 열을 만들 수 있습니다

dataframe.withColumn("input_file", input_file_name)