2016-11-23 3 views
1

SparkR에서 데이터 프레임을 목록으로 변환 할 수 있는지 여부를 알려줄 수 있습니까? 나는 collect() 함수가 그렇게하는 데 도움이된다는 것을 알고있다. 그러나 많은 양의 데이터를 사용할 때는 권장하지 않습니다. 파이썬/스칼라에는 local Iterator()이라는 함수가 있으며 데이터 프레임을 목록으로 변환합니다. SparkR에서 저것과 고투하고 있습니다. 아무도 도와 줄 수 있어요!SparkR - 데이터 프레임을 Vector/list로 변환

답변

0

Unfortunatelly collect()이 작업을 수행하는 가장 좋은 방법입니다. 시도해 볼 수도 있습니다 : saveAsTextFile하지만이 경우 전체 데이터를 얻지 못할 수도 있습니다.

+0

예. 그것은 SparkR의 문제점입니다. 어쨌든 덕분에 – Nirmal

+0

Cassandra 3.0을 사용하는 경우 'Materialized view'를 사용하여 서버에서 데이터를 재 배열 할 수 있지만 데이터를 다운로드하는 데 도움이되지 않습니다. (데이터 양을 줄이기 위해 그것을 사용할 수 있습니다 그리고 당신이 전체 데이터 집합을 필요로하지 않는 경우 로컬로 저장) – Meyk

관련 문제