HDFS에 Avro 파일 저장

HDFS에 많은 양의 데이터를 저장하려고합니다. 파이썬을 사용하여 Avro 파일을 생성 할 수있었습니다. Avro는 출력을 HDFS에 직접 저장하는 기능을 제공합니까?HDFS에 Avro 파일 저장

2017-03-03 Vivek Ghatala

내용을 읽어

public void uploadToHdfs(String srcPath, String dstPath) throws IOException { FileSystem fs = getFileSystem(); fs.copyFromLocalFile(new Path(srcPath), new Path(dstPath)); }

감사를

당신은/업로드 HDFS에 avros 쓰기, srcPath 로컬 브로입니다 파이썬 , 유사한 것을 사용하는 HDFS API를 사용하여 필요 dstPath는 HDFS에 ü 매뉴얼 – hB0

Avro는 데이터를 avro 형식으로 저장하기위한 직렬화 프레임 워크이며 HDFS에 아무 것도 쓸 지능이 없습니다.

출처

2017-04-11 11:48:59 isudarsan

HDFS에 Avro 파일 저장

답변

관련 문제