0
정수 목록과 sqlcontext 데이터 프레임이 목록의 길이와 같은 행 수로 있습니다. 목록을이 데이터 프레임에 열을 추가하여 순서를 유지하려고합니다. 정말 간단해야한다고 생각하지만 우아한 해결책을 찾을 수 없습니다.목록을 열로 pyspark의 Dataframe에 추가합니다.
A
답변
1
목록이 로컬 객체이고 데이터 프레임이 분산되어 있기 때문에 단순히 목록을 데이터 프레임 열로 추가 할 수 없습니다. collect() 또는 toLocalIterator()에 의해 지역에
- 변환 dataframe을 각 행에 대해 dataframe에서 키 (여분의 열을 추가 dataframe에 목록 또는
- 변환 목록에서 해당 값을 추가 : 당신은 THW 따라와 방법 중 하나를 시도 할 수 있습니다) 그리고 둘 다 합치십시오.
관련 문제
- 1. 팬더의 dataframe에 dicts의 목록을 변환
- 2. 팬더는 필터링 된 행을 다른 DataFrame에 추가합니다.
- 3. 큰 목록을 python2.7에 추가합니다.
- 4. 팬더 시리즈를 DataFrame에 열로 추가하면 야생 NaN이 표시됩니다.
- 5. Spark (Java) - 하나의 평균을 새 열로 추가합니다.
- 6. 링크 목록을 자동으로 열로 작성합니다.
- 7. 지역의 일치 목록을 열로 반환
- 8. Linq 목록을 하나의 열로 정렬하십시오.
- 9. Flex에서는 목록을 열로 어떻게 래핑합니까?
- 10. Pyspark의 RDD에서 시퀀스 추출하기
- 11. PySpark의 열에서 XML 문자열로드
- 12. PySpark의 스파크 피벗 문자열
- 13. Pandas DataFrame에 대한 스크립트의 CSV 유사 데이터
- 14. PySpark의 비교 연산자 (같지 않음 /! =)
- 15. PySpark Dataframe 내가 pyspark의 dataframe이
- 16. 채우기 만 dataframe에 값을 MISSING (팬더) 나는 dataframe에 무엇을 가지고
- 17. 파이썬 목록을 열로 n 목록으로 재정렬하십시오.
- 18. 행 열로 정렬되지 않은 목록을 작성하는 방법
- 19. 중첩 목록을 xaml의 추가 열로 바인딩
- 20. 여러 열로 문자열 목록을 포함하는 분할 시리즈
- 21. 각 목록을 csv 테이블의 열로 작성하십시오.
- 22. 여러 열로 목록을 grep하는 방법은 무엇입니까?
- 23. Outlook에서 배포 목록을 열로 표시 하시겠습니까?
- 24. BSONObject의 RDD를 DataFrame에
- 25. DataFrame에 합계를 더하기
- 26. 내 Dataframe에 날짜를 확장
- 27. 키의 조합에 dataframe에 참여
- 28. 또는 dataframe에 표현
- 29. rpy2의 DataFrame에 열 추가
- 30. dataframe에 JSON 변환하는 방법
collect 또는 toLocalIterator가 메모리를 압도 할 것이므로 두 번째 작업이 끝났습니다. 문제는 두 번째 요점을 수행하는 방법을 파악하는 데 다소 시간이 걸렸습니다. 두 번째 요점은 부분적으로 제가 질문 한 이유입니다. 나는 더 우아한 방법이 있기를 바랬 기 때문에 이것을 명시 적으로 묻지 않았다. –