일부 계산을 수행하기 위해 배열 목록에서 데이터 프레임 열 값을 수집하고 싶습니다. 가능합니까?

Question

나는이를 통해 피닉스에서 데이터를 로딩하고 있습니다 :

val tableDF = sqlContext.phoenixTableAsDataFrame("Hbtable", Array("ID", "distance"), conf = configuration) 

및 열에서 다음과 같은 계산을 수행하려는 것은 distance 값 :

val list=Array(10,20,30,40,10,20,0,10,20,30,40,50,60)//list of values from the column distance 
val first=list(0) 
val last=list(list.length-1) 
var m = 0; 
for (a <- 0 to list.length-2) { 
    if (list(a + 1) < list(a) && list(a+1)>=0) 
    { 
    m = m + list(a) 
    } 
} 
val totalDist=(m+last-first) 

Answer 1

당신은 같은 것을 할 수 있습니다. 그것은 Array[Any]

`val array = df.select("distance").rdd.map(r => r(0)).collect() 

을 반환합니다. 데이터 유형을 올바르게 얻으려면 사용할 수 있습니다. 그것은 반환 Array[Int]

val array = df.select("distance").rdd.map(r => r(0).asInstanceOf[Int]).collect()