스파크 행 삭제

Question

약 20k 행을 포함하는 DataFrame이 있습니다.

데이터 세트에서 무작위로 186 개의 행을 삭제하고 싶습니다.

문맥을 이해하려면 - 누락 된 데이터에 대한 분류 모델을 테스트하고 있으며 각 행에는 유닉스 타임 스탬프가 있습니다. 186 행은 3 초에 해당합니다. (초당 62 행의 데이터가 있습니다.)

내 목표는 데이터가 스트리밍 될 때 데이터가 초 동안 누락 될 가능성이 있습니다. 시간 창에서 피쳐를 추출하므로 누락 된 데이터가 모델 성능에 미치는 영향을보고 싶습니다.

이 방법을 사용하면 rdd으로 변환하고 filter 함수를 사용하여 필터 함수 내부에 논리를 넣는 것이 가장 효과적이라고 생각합니다.

dataFrame.rdd.zipWithIndex().filter(lambda x:)

하지만이 논리와 붙어 있어요 - 어떻게이 구현합니까? 이런 식으로 할

Answer 1

시도를 (PySpark 사용) :

import random 
startVal = random.randint(0,dataFrame.count() - 62) 
dataFrame.rdd.zipWithIndex()\ 
      .filter(lambda x: not x[<<index>>] in range(startVal, startVal+62)) 

이 작동합니다!