스파크의 RDD에 밑줄 2의 로그를 적용하는 방법?

Question

RDD에 log2를 적용하는 적절한 방법은 무엇입니까? 이것에 도움이되는 함수가 있습니까?

Answer 1

RDD :

import org.apache.commons.math.util.MathUtils 

val rdd: RDD[Double] = ??? 
rdd.map(x => MathUtils.log(2.0, x)) 

DataFrame :

import org.apache.spark.sql.functions.log2 

rdd.toDF("value").select(log2("value"))