Java에서 SparseVectors의 RDD에서 DataFrame을 만드는 방법

Question

RDD의 SparseVector을 DataFrame으로 변환하려고했습니다. 나는 Scala과 Python에서이 작업을 수행했지만 결코 Java에 없었으므로 실제로 대답은 here입니다.

이 주제를 다루는 예제를 찾으려고했지만 어떤 것도 찾을 수 없었습니다. 그럼에도 불구하고 스칼라와 같은 방식으로 작동하지만 분명히 복제 할 수는 없습니다.

Answer 1

나는 그것을 성취 할 수 있었다. SparseVector을 변환하는 데 사용할 적절한 스키마는 dataType으로 설정해야합니다. 예를 따르는 경우 일반적으로 데이터 유형을 사용합니다. new VectorUDT으로 설정해야합니다. 무언가, 꽤 힘들었습니다.

List<StructField> fields = new ArrayList<>(); 
StructField field = DataTypes.createStructField("features", new VectorUDT(), true); 

fields.add(field); 

StructType schema = DataTypes.createStructType(fields);