어떤 값 (스칼라)이없는 데이터 프레임에서 열을 제거하는 방법

Question

문제 설명 나는 데이터 프레임을 생성하는 employee라는 테이블이 있습니다. 레코드가없는 열이 있습니다. . 데이터 프레임에서 해당 열을 제거하고 싶습니다. 또한 데이터 프레임의 열이 얼마나 많은지 알지 못합니다.

Answer 1

dataFrame AFAIK에서 열을 제거 할 수 없습니다!

이전 dataFrame에서 다른 데이터 프레임을 만들고 실제로 원하는 열 이름을 추출 할 수 있습니다!

예 :이 같은 oldDFSchema (ID, 이름, badColumn, 이메일) 다음

val newDf=oldDF.select("id","name","email") 

또는 당신이 사용할 수있는 한 가지 더이는 다음과 같습니다 dataframe에 .drop() 함수가 열 이름을 가져 와서 삭제하고 새로운 데이터 프레임을 반환합니다!

당신은 여기에 대해 찾을 수 있습니다 :이 사용 사례를 해결할 수있는 희망 https://spark.apache.org/docs/2.0.0/api/scala/index.html#org.apache.spark.sql.Dataset@drop(col:org.apache.spark.sql.Column):org.apache.spark.sql.DataFrame

을!