0
저는 Pyspark를 처음 사용하고 기존 데이터 프레임에 새 열을 추가하려고합니다. 새 항목에는 고정 값이 4 개만 있어야합니다 (예 : 1,2,3,4). 각 행의 값 중 하나를 무작위로 선택하고 싶습니다.Pyspark에서 임의의 고정 값을 사용하여 기존 데이터 프레임에 열을 추가합니다.
어떻게하면됩니까?
A
답변
1
Pyspark 데이터 프레임은 변경할 수 없으므로 새로운 데이터 프레임을 반환해야합니다 (예 : 팬더 데이터 프레임에서 할 수있는 방식으로 할당 할 수 없음).
이from pyspark.sql.functions import udf
import numpy as np
df = <original df>
udf_randint = udf(np.random.randint(1, 4))
df_new = df.withColumn("random_num": udf_randint)
관련 문제
- 1. 계산 된 열을 기존 데이터 프레임에 연결
- 2. 효과적으로 sqlite db에서 pandas 데이터 프레임에 새로운 열을 추가합니다.
- 3. 반응 객체에서 기존 데이터 프레임에 값을 추가하십시오.
- 4. 파이썬은 데이터 프레임에 평균 이동을 추가합니다
- 5. R : 누락 된 값이있는 열을 데이터 프레임에 추가합니다.
- 6. for 루프를 사용하여 데이터 프레임에 열을 추가하십시오.
- 7. 기존 데이터 프레임에 요소가없는 새 열을 추가하는 방법은 무엇입니까?
- 8. 문자열에 테이블에 기존 값을 추가합니다.
- 9. 해당 데이터 프레임의 입력 값에서 함수의 출력을 가진 데이터 프레임에 열을 추가합니다.
- 10. 다른 데이터 프레임을 사용하여 데이터 프레임에 열을 추가하는 방법은 무엇입니까?
- 11. R : 다른 데이터 프레임의 "countif"값을 사용하여 데이터 프레임에 새 열을 만드는 방법은 무엇입니까?
- 12. 데이터 프레임에 열을 추가하여 로그 반환 계산
- 13. 여러 열의 값을 기반으로 R 데이터 프레임에 새 열을 만듭니다.
- 14. 수정 된 값을 기존 데이터 프레임에 붙이는 기능
- 15. pyspark에서 데이터 프레임의 모든 열을 폭발시키는 방법은 무엇입니까?
- 16. 임의의 인수 값의 행을 데이터 프레임에 추가
- 17. 데이터 프레임에 새 열을 추가하는 수식 전달
- 18. lapply를 사용하여 여러 데이터 프레임에 대한 열을 만들고 채우기.
- 19. xts 열을 데이터 프레임에 넣는 방법
- 20. 데이터 프레임에 빈 열을 추가하는 방법은 무엇입니까?
- 21. 데이터 프레임에 열을 목록으로 삽입 R
- 22. 파이썬 : 팬더 데이터 프레임에 열을 추가하면
- 23. 총 행 합계 열을 데이터 프레임에 R
- 24. 파이썬 팬더 반복에서 기존 데이터 프레임에 할당하기
- 25. 기존 데이터 프레임에 tapply 결과를 추가하는 방법
- 26. 팬더. 여러 개의 열을 그룹화 한 다음 계산 된 열을 기존 데이터 프레임에 연결하십시오.
- 27. R에서 원래의 데이터 프레임에 맞는 값 열을 추가하는 방법은 무엇입니까?
- 28. 다른 열을 기반으로 대형 데이터 프레임에 열을 만듭니다.
- 29. 기존 열을 인덱스로 사용
- 30. 팬더 데이터 프레임에 누락 된 값을 입력하십시오.
이 하나 –
아를 작동하지 않습니다, 죄송합니다, 당신이 NumPy와 목록에'lit'를 호출 할 필요가 : 당신이
udf사용하고 싶은 일을합니다. 그것은 당신 앞에서 불꽃없이 질문에 대답하려고 할 때 일어납니다. 나는 그것을 편집 할 것이다. – Jeff마지막 인수 (크기)가 무엇인지 물어볼 수 있습니까? 나는 그 논쟁없이 노력했고 그것은 항상 무작위 적이 지 않고 항상 같은 가치를 제공합니다. 그것은 항상 3이었습니다 –