데이터 프레임의 열의 평균 문자열 길이 계산

Question

scala를 사용하여 데이터 프레임의 모든 열의 평균 문자열 길이를 계산할 수있는 방법이 유용하지 않습니다. 나는 수 있었다 쉽게

val avgDF = df.dtypes.filter(x => x._2 == "DoubleType").map(ct =>avg(col(ct._1))).toList 

Answer 1

발 findLength = UDF 다음을 수행 숫자 열을 위해 그것을 할 수 있습니다 {(COLVALUE : 문자열) => ColValue.size}

myData.dtypes.filter(x=>x._2=="StringType").foreach(f=> 
    myData.select(avg(findLength(col(f._1)))).show()  
) 

샘플 데이터

을

Name|Age|email 
Hari|12|hary@h0otmail.ocm 
Hari|12|hary@h0otmail.ocm 
Hari|12|hary@h0otmail.ocm 
Hari|12|hary@h0otmail.ocm 
Hasasasi|12|hary@h0otmail.in 

출력

+-------------------+ 
|AVG(scalaUDF(Name))| 
+-------------------+ 
|    4.8| 
+-------------------+ 


+--------------------+ 
|AVG(scalaUDF(email))| 
+--------------------+ 
|    16.8| 
+--------------------+ 

Answer 2

import org.apache.spark.sql.functions._ 

val avgDF = df.agg(mean(length(col("yourColumn"))))