Spark의 takeSample() 함수

Question

Spark에 takeSample() 함수를 사용하려고하는데 매개 변수는 - 데이터, 취할 샘플 수 및 시드입니다. 하지만 나는 그 씨앗을 사용하고 싶지 않습니다. 나는 매번 다른 대답을 원한다. 나는 내가 어떻게 할 수 있는지 알 수 없다. 시드 값으로 System.nanoTime을 사용했지만 데이터 유형이 일치하지 않았기 때문에 오류가 발생했습니다. 씨앗없이 사용할 수있는 takeSample()과 유사한 다른 기능이 있습니까? 아니면 내가 다른 출력을 얻을 때마다 takeSample() 함께 사용할 수있는 다른 구현이 있습니다.

Answer 1

System.nanoTime은 long이고, takeSample으로 예상되는 시드는 Int입니다. 따라서 takeSample(..., System.nanoTime.toInt)이 작동해야합니다.

Answer 2

System.nanoTime은 long을 반환하지만 takeSample은 Int를 예상합니다.
scala.util.Random.nextInt을 seed 값으로 takeSample 함수에 제공 할 수 있습니다.

Answer 3

Spark 버전 1.0.0부터 seed 매개 변수는 선택 사항입니다. https://issues.apache.org/jira/browse/SPARK-1438을 참조하십시오.