스파크 데이터 프레임/하이브 결과 집합 정렬

Question

하이브 테이블에서 열 목록을 검색하고 결과를 스파크 데이터 프레임에 저장하려고합니다.

var my_column_list = hiveContext.sql(s""" SHOW COLUMNS IN $my_hive_table""") 

그러나 데이터 열이나 표시 열 쿼리의 결과를 사전 순으로 정렬 할 수 없습니다. 정렬 및 orderBy() 사용하여 시도했다.

어떻게 결과를 사전 순으로 정렬 할 수 있습니까?

업데이트 : 추가 내 코드의 샘플이 정렬 또는 해 orderBy 방법을 사용하는 방법을

import org.apache.spark.{ SparkConf, SparkContext } 
import org.apache.spark.sql.DataFrame 
import org.apache.spark.sql.hive.HiveContext 

val hiveContext = new HiveContext(sc) 
hiveContext.sql("USE my_test_db") 

var lv_column_list = hiveContext.sql(s""" SHOW COLUMNS IN MYTABLE""") 
//WARN LazyStruct: Extra bytes detected at the end of the row! Ignoring similar problems 

lv_column_list.show //Works fine 
lv_column_list.orderBy("result").show //Error arises 

Answer 1

, 나는 'DESC'를 사용하고 "컬럼 이름"을 열 목록을 검색.

var lv_column_list = hiveContext.sql(s""" DESC MYTABLE""") 
lv_column_list.select("col_name").orderBy("col_name") 

Answer 2

확실하지,

가 다음을 시도,

df.sort(asc("column_name"))  
df.orderBy(asc("column_name")) 

Answer 3

SHOW COLUMNS 쿼리는 result 열이있는 Dataframe을 생성합니다. 이 열을 기준으로 주문하는 경우에, 당신은 당신이 원하는 것을 얻을 :

대신 'SHOW 항목'의

val df = hiveContext.sql(s""" SHOW COLUMNS IN $my_hive_table """) 
df.orderBy("result").show