2017-01-23 6 views
0

데이터베이스/데이터 프레임에 키 값 쌍인 열이 있습니다. 특정 값을 기준으로 데이터를 필터링하고 싶습니다. 'ddd'키의 값이 'DDD'인 행만 말하십시오. 어떻게 이것이 spark/spark sql에서 달성 될 수 있습니까?스파크 데이터 프레임의 키 값을 기준으로 필터링

"{'aaa': 'AAA', 'bbb': 'BBB', 'ccc': 'CCC', 'ddd': 'DDD', 'eee': 'EEE', 'fff': 'FFF', 'ggg': 'GGG'}" 
"{'aaa': 'AAA1', 'bbb': 'BBB1', 'ccc': 'CCC1', 'ddd': 'DDD1', 'eee': 'EEE1', 'fff': 'FFF1', 'ggg': 'GGG1'}" 

답변

2

우리는 필터 기능

 DataFrame inputDf= //read from database 

    DataFrame filteredDf=inputDf.filter("ddd='DDD'"); 
+0

를 사용하여 아래와 같이 그것을 할 수 있습니다 나는 아래의 방법으로 작업이 있어요. 내가 사용할 수있는 것이 더 낫다? val filteredRdd = textFileDF.map (line => line.getAs [String] ("colname")) 필터 (line => line.contains ("ddd": 'DDD ")) –

+1

@ SandeepShetty : 그것은 DF 방식이며 귀하의 방식은 rdd입니다. 둘 다 잘 작동한다면 :-) –

관련 문제