1
RDD 샘플은 어떻게 작동합니까? 다양한 매개 변수 즉, 샘플 (withReplacement, fraction, seed)의 기능은 무엇입니까?RDD 샘플 (Spark)
'withReplacement'및 'seed'매개 변수와 관련하여 웹 관련 항목을 찾을 수 없습니다. 예를 들어 설명해주십시오.
A
답변
2
분수와 시드는 매우 쉽게 추측 할 수 있습니다. 샘플에서 보려는 요소의 일부입니다 (예 : 0.5의 샘플은 요소의 절반을 포함하는 초기 RDD의 샘플을 제공합니다). 시드는 난수 생성기 시드입니다. 테스트에서 동일한 시드를 하드 코딩하여 테스트에서 항상 동일한 결과를 얻을 수 있기를 원할 수 있기 때문에 중요합니다.하지만 뚜렷한 코드에서는 현재 시간 (밀리 초) 또는 양호한 엔트로피 소스의 임의의 숫자로 바꿉니다 .
대체 샘플링은 Google 검색입니다. https://www.ma.utexas.edu/users/parker/sampling/repl.htm. 간단히 말해, 대체 샘플링을하는 경우 샘플에서 동일한 요소를 두 번 가져올 수 있으며 교체가 없으면 한 번만 가져올 수 있습니다. 따라서 RDD에 [Bob, Alice and Carol]이 있다면 "대체"샘플은 [Alice, Alice] 일 수 있지만 대체 샘플이 없으면 중복 샘플을 사용할 수 없습니다.
+0
자세한 설명을 주셔서 감사합니다. – SPram
+0
에서 질문에 완전히 답한 경우 왼쪽의 체크 표시를 클릭하여 답을 수락합니다. –
관련 문제
- 1. Apache Spark RDD 스플릿 "|"
- 2. Spark RDD apend
- 3. Spark scala RDD traversing
- 4. Spark RDD 테스트 방법
- 5. Apache Spark RDD 값 조회
- 6. Spark : RDD 요소를 청크로 분할
- 7. RDD 객체 비교 - Apache Spark
- 8. lxml.Element 객체의 Spark Python RDD?
- 9. Spark RDD foreachPartition to S3
- 10. 트랜잭션 블록 | Spark SQL, rdd
- 11. 다른 RDD의 Java Spark RDD?
- 12. 캐시 된 Spark RDD 재사용
- 13. Apache Spark RDD 맵에서 일괄 처리
- 14. SPARK-5063 RDD 변환과 행동은 내가보고하려고 나는 RDD [행]이
- 15. Spark : 각 반복에서 RDD 항목이 누락되었습니다.
- 16. Apache Spark - 여러 RDD 압축 방법
- 17. 순차적 RDD 처리의 기능적 접근 [Apache Spark]
- 18. 개념적 차이점 Spark 2.0의 RDD와 RDD 비교?
- 19. Apache Spark RDD 작업 직렬화에 대한 이해
- 20. Spark SQL : RDD 연산과 어떻게 매핑됩니까?
- 21. Scala Spark 1.5.2 RDD [A, B]]
- 22. spark RDD 통합 작업이 매우 느립니다.
- 23. RDD 값으로 그룹화하는 방법 Scala, Spark
- 24. spark rdd fliter by query mysql
- 25. 여러 반복에 걸쳐서 Spark RDD 사용하기
- 26. Spark DataFrame (RDD)의 메타 데이터
- 27. 커스텀 기능에서 두 개의 RDD 결합 - SPARK
- 28. S3 버킷에 텍스트 파일로 Spark RDD 쓰기
- 29. Spark : RDD 맵에서 반복자 람다 함수 사용하기 (
- 30. RDD 및 SPARK 스트리밍 마이크로 배치
아파치 스파크 (스칼라)에서 간단한 무작위 샘플링 및 데이터 프레임 SAMPLE 함수는 어떻게 작동합니까?] (http://stackoverflow.com/questions/32229941/how-do-simple-random-sampling-and- dataframe-sample-function-work-in-apache-spark) – user7337271