0
Spark에서 나는 RDD로 데이터 세트를로드했으며 드물게 스트리밍 데이터를 추가했습니다. RDD는 잠금을 단순화하기 때문에 불변이라는 것을 알고 있습니다. 정적 및 스트리밍 데이터를 하나로 처리하는 다른 방법은 있습니까? Spark : How to append to cached rdd?Spark RDD apend
A
답변
1
이 http://spark.apache.org/streaming/에서보세요 : 전에
비슷한 질문을 질문하고있다.
스파크 스트리밍을 사용하면 반복 할 수있는 RDD 모음을 나타내는 데이터 구조를 얻을 수 있습니다. 카프카 대기열, 파일 시스템 등을 듣고 다음 RDD에 포함 할 새 데이터를 찾을 수 있습니다.
이러한 "추가"를 수행하는 경우는 거의 없으며 동일한 스키마를 가진 두 개의 RDD를 결합하여 새로운 결합 된 RDD를 얻을 수 있습니다.
관련 문제
- 1. Apache Spark RDD 스플릿 "|"
- 2. Spark scala RDD traversing
- 3. RDD 샘플 (Spark)
- 4. Spark RDD 테스트 방법
- 5. Apache Spark RDD 값 조회
- 6. Spark : RDD 요소를 청크로 분할
- 7. RDD 객체 비교 - Apache Spark
- 8. lxml.Element 객체의 Spark Python RDD?
- 9. Spark RDD foreachPartition to S3
- 10. 트랜잭션 블록 | Spark SQL, rdd
- 11. 다른 RDD의 Java Spark RDD?
- 12. 캐시 된 Spark RDD 재사용
- 13. SPARK-5063 RDD 변환과 행동은 내가보고하려고 나는 RDD [행]이
- 14. apend 항목
- 15. Spark : 각 반복에서 RDD 항목이 누락되었습니다.
- 16. Apache Spark - 여러 RDD 압축 방법
- 17. 순차적 RDD 처리의 기능적 접근 [Apache Spark]
- 18. 개념적 차이점 Spark 2.0의 RDD와 RDD 비교?
- 19. Apache Spark RDD 작업 직렬화에 대한 이해
- 20. Spark SQL : RDD 연산과 어떻게 매핑됩니까?
- 21. Scala Spark 1.5.2 RDD [A, B]]
- 22. spark RDD 통합 작업이 매우 느립니다.
- 23. RDD 값으로 그룹화하는 방법 Scala, Spark
- 24. spark rdd fliter by query mysql
- 25. 여러 반복에 걸쳐서 Spark RDD 사용하기
- 26. Apache Spark RDD 맵에서 일괄 처리
- 27. Spark DataFrame (RDD)의 메타 데이터
- 28. 커스텀 기능에서 두 개의 RDD 결합 - SPARK
- 29. S3 버킷에 텍스트 파일로 Spark RDD 쓰기
- 30. Spark : RDD 맵에서 반복자 람다 함수 사용하기 (
감사합니다. Brian. 스파크 스트리밍은 내가 정말로 원하는 것에 가깝게 보인다. 분산 된 가변 테이블. 내 정적 데이터가 크기 때문에 조합 op를 피하려고합니다. – Vortex