Spark Dataframe 열을 문자열 배열의 단일 열로 변환하는 방법

Question

여러 데이터 프레임 열을 하나의 문자열 배열로 "병합"하려면 어떻게해야합니까? 그것과 같을 것이다, 그래서 나는 그것을 변환 할 수 있습니까

scala> df.show 
+---+----+------+-------+ 
| Id|Name|Number|Comment| 
+---+----+------+-------+ 
| 1|Jack| 125| Text| 
| 2|Mary| 152| Text2| 
+---+----+------+-------+ 

scala> df.printSchema 
root 
|-- Id: integer (nullable = false) 
|-- Name: string (nullable = true) 
|-- Number: string (nullable = true) 
|-- Comment: string (nullable = true) 

:

val df = sqlContext.createDataFrame(Seq((1, "Jack", "125", "Text"), (2,"Mary", "152", "Text2"))).toDF("Id", "Name", "Number", "Comment") 

다음과 같습니다 예를 들어

,이 dataframe이

scala> df.show 
+---+-----------------+ 
| Id|    List| 
+---+-----------------+ 
| 1| [Jack,125,Text]| 
| 2| [Mary,152,Text2]| 
+---+-----------------+ 

scala> df.printSchema 
root 
|-- Id: integer (nullable = false) 
|-- List: Array (nullable = true) 
| |-- element: string (containsNull = true) 

Answer 1

org.apache.spark.sql.functions.array :

import org.apache.spark.sql.functions._ 
val result = df.select($"Id", array($"Name", $"Number", $"Comment") as "List") 

result.show() 
// +---+------------------+ 
// |Id |List    | 
// +---+------------------+ 
// |1 |[Jack, 125, Text] | 
// |2 |[Mary, 152, Text2]| 
// +---+------------------+