sparkR 데이터 프레임에없는 데이터 필터링

Question

R에서 1 : 10000 데이터를 생성했습니다. SparkR을 사용하여 1 : 10000 데이터로 RDD를 만들었습니다. SparkR을 사용하여 데이터 < 10을 인쇄하도록 필터링하려고합니다. 나는 SparkR을 배우고 있으며 어떤 도움을 주셔서 감사합니다. 중복으로 표시하기 전에이 질문을주의 깊게 읽으십시오. 마지막에는 데이터 프레임 작업을 좋아하는 사람들을위한 코드도 제공했습니다.

library(SparkR) 
sc <- sparkR.init(master = "local") 
sqlContext <- sparkRSQL.init(sc) 
Data <- c(1:10000) 
distData <- SparkR:::parallelize(sc,Data) 

은 내가 답을 얻기 위해 다음과 같은 방법 시도 < (10) 모든 데이터를 출력합니다. 불행히도, 나는 각각의 오류가 발생합니다. 문제는 병렬화 기능이 아닙니다. 나는 필터와 문제를 직면하고 기능을 수집합니다. 자세한 내용은 내가 실행 한 다른 시도와 관련 오류를 참조하십시오.

SparkR:::filter(distData[distData < 10]) 

Error: Error in SparkR:::filter(distData[distData < 10]) : 
error in evaluating the argument 'x' in selecting a method for function  'filter': Error in distData[distData < 10] : 
error in evaluating the argument 'i' in selecting a method for function '[': Error in distData < 10 : 
comparison (3) is possible only for atomic and list types 

SparkR:::filter(sc,distData[distData < 10]) 

Error in SparkR:::filter(sc, distData[distData < 10]) : 
error in evaluating the argument 'condition' in selecting a method for function 'filter': Error in distData[distData < 10] : 
error in evaluating the argument 'i' in selecting a method for function '[': Error in distData < 10 : 
comparison (3) is possible only for atomic and list types 

SparkR:::collect(distData,filter(distData[distData<10])) 

Error in filter(distData[distData < 10]) : 
error in evaluating the argument 'x' in selecting a method for function 'filter': Error in distData[distData < 10] : 
error in evaluating the argument 'i' in selecting a method for function '[': Error in distData < 10 : 
comparison (3) is possible only for atomic and list types 


SparkR:::collect(distData, function(dist){ 
    print(dist[dist<10]) 
}) 

Error in if (flatten) { : argument is not interpretable as logical 


filter(distData, function(dist){ 
    print(dist[dist<10]) 
}) 

Error in (function (classes, fdef, mtable) : 
unable to find an inherited method for function ‘filter’ for signature ‘"RDD", "function"’ 

다음

내가 데이터 프레임 작업

df <- SparkR:::createDataFrame(sqlContext,distData) 
colnames(df)<-c("random") 
df1<-subset(df, nana$random<10) 
SparkR:::collect(df1) 

Answer 1

SparkR은 스파크 DataFrames 작업, 오직 하나 개의 컬럼으로 DataFrames 스파크 목록에없는 명령을 경우 작동하는 코드입니다. distData가 1 열의 DataFrame 인 반면 filter() 구문은 사용자가 목록에서 작업하고 있다고 가정합니다. 오류가있는 예제의 filter() 명령에서 열 이름을 지정해야합니다. str(distData)을 실행하여 열 이름을 확인하십시오. 그런 다음 distData$colName < 10

을 사용하여 필터를 적용하십시오. subset(), sql 및 filter() 함수를 사용하여 Spark DataFrame을 필터링하는 방법의 예는 this question의 답변에서 사용할 수 있습니다. @ zero323은 필터 함수의 작동 구문을 설명하는 질문에 대답했습니다.