Spark MLlib recommender 엔진의 메소드

Question

나는 공동 필터링을 위해 박스에서 ALS의 방법과 pySpark MLlib를 사용하고 있습니다. 그냥 궁금해, 스파크는 피어슨이나 코사인과 같이 거리 계산을 위해 필터링을하는 다른 방법을 제공합니까? 스파크 환경에서 할 수 있습니까?

감사합니다.

Answer 1

예 Spark에는 코사인 유사성이 구현되어 있습니다. 스칼라는

https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/mllib/CosineSimilarity.scala 

예

// Load and parse the data file. 
    val rows = sc.textFile(params.inputFile).map { line => 
     val values = line.split(' ').map(_.toDouble) 
     Vectors.dense(values) 
    }.cache() 
    val mat = new RowMatrix(rows) 
    val exact = mat.columnSimilarities()