Cassandra 테이블의 행을 Spark에서 Dataframe으로로드하는 방법은 무엇입니까?

Question

이 할 수있는 방법이 있나요,

select * from table where key = '' 

같은 것을 나는

val tableDf = sparkSession.read 
     .format("org.apache.spark.sql.cassandra") 
     .options(Map("table" -> table, "keyspace" -> keyspace)) 
     .load() 

아래로 dataframe으로 전체 카산드라 테이블을로드 할 수 있습니다하지만 기본 키에 의해 행을 인출 할 수있는 방법을 찾을 수 없습니다 ?

Answer 1

val tableDf = sparkSession.read 
     .format("org.apache.spark.sql.cassandra") 
     .options(Map("table" -> table, "keyspace" -> keyspace)) 
     .load() 
     .filter("key='YOUR_KEY'") 

이 spark-cassandra 커넥터를 사용하면 술어 푸시 다운을 사용하고 필요한 데이터 만 가져옵니다.

Dataframes and Predicate pushdown