SparkR에서 데이터 프레임을 조 변경/unpivot하려고합니다. 필자는 데이터 프레임을 unpivoting하기 위해 SparkR 패키지에서 직접 사용할 수있는 방법을 찾지 못했습니다. includePackage 메서드를 사용한 후에도 SparkR 데이터 프레임에서 R 패키지를 사용할 수 없습니다. SparkR이나 하이브 (Hive)와 같은 다른 대안을 사용하여 피벗 해제 할 수있는 직접적인 방법이 있다면 누군가가 알려주는 것이 도움이 될 것입니다.sparkR 데이터 프레임을 unpivot하는 방법은 무엇입니까?
이 나도는
기본 R 명령은 스파크 DataFrames에서 실행되지 않는 SparkR의 dataframe에 R 패키지를 사용 할 수 있어요 없습니다. Spark DataFrames에서만 Spark 명령이 실행됩니다. Spark DataFrame에서 R 명령을 실행하려면 collect()를 사용하여이를 R data.frame으로 변환 할 수 있지만 분산 처리의 이점은 상실됩니다.
스파크 DataFrame은 관계형 데이터베이스의 테이블과 유사한 구조입니다. Spark DataFrame에서 Spark 명령을 사용하면 클러스터 전체에서 분산 처리의 이점을 누릴 수 있습니다.
일반적인 질문에 대답하기가 어렵습니다. 일반적으로이 포럼 사람들은 데이터와 코드로 구체적인 예를 기대합니다. 일반적으로 관계형 테이블의 피벗을 해제하려면 가장 기본적인 방법은 행 키와 열이 하나씩 포함 된 각 쿼리에 열에 null이 아닌 값으로 필터링 된 쿼리 집합을 만드는 것입니다. 그런 다음 여러 결과를 새 DataFrame으로 결합합니다.
R 언어 구문을 선호하는 경우 SparkR의 unionAll (x, y) 명령을 사용하여이 조합을 수행 할 수 있습니다.이 명령은 R data.frame의 R 명령과 달리 클러스터에서 처리됩니다.
SparkR 데이터 프레임을 unpivot 할 수 있었습니까? – devlace