avro

0열

1답변

나는 Ubuntu 16.04에 Bottled Water를 설치하려고합니다. README 파일에 따라 필요한 패키지를 대부분 설치했지만 Avro C 소스를 빌드하는 방법을 모르겠습니다. 공식 웹 사이트에서 다운로드했으며 인터넷에서 지침을 검색했습니다. 또한 README 파일을 확인했습니다. 그러나 솔직히 나는 빌드를 만드는 "간단한"방법을 찾을 수 없습니다.

1열

1답변

Google DataFlow 및 읽는 여기 엔 나무 마루 파일

Google DataFlow Java SDK를 사용하려고했지만 내 입력 파일은 .parquet 파일입니다. 경계 파이프 라인을 경계 데이터 소스로 DataFlow 파이프 라인에서 읽을 수있는 기능을 찾을 수 없습니다. 나는 코더를 만들거나 Parquet Reader을 기반으로하는 AvroIO와 같은 비트를 싱크 할 수 있음을 이해합니다. 누군가 구현하는 가

0열

1답변

카프카 커넥트 S3 싱크가 Avro를로드 할 때 IllegalArgumentException을 던졌습니다.

을 사용하여 Avro 데이터를 Parquet 형식의 S3에로드했습니다. GenericRecord avroRecord = new GenericData.Record(avroSchema); Injection<GenericRecord, byte[]> recordInjection = GenericAvroCodecs.toBinary(avroSchema); for

1열

1답변

맞춤 시리얼 변환기로 avro에서 읽을 때 런타임 유형이 잘못되었습니다.

avro 파일에서 Kryo를 사용하여 RDD로 데이터를 읽으려고합니다. 내 코드는 잘 컴파일되지만 런타임에는 ClassCastException이 표시됩니다. 여기에 내 코드가하는 일입니다 : MyKryoRegistrator이 MyCustomClass에 대한 시리얼을 등록 SparkConf conf = new SparkConf()... conf.set("s

2열

1답변

NiFi - ConvertCSVtoAVRO - 실패한 레코드를 캡처하는 방법은 무엇입니까?

CSV를 AVRO로 변환 할 때 모든 거부를 파일에 출력하고 싶습니다 (error.csv라고 가정 해 봅시다). 거부는 일반적으로 잘못된 데이터 유형으로 인해 발생합니다. "문자열"값이 "긴"필드에 나타날 때. 변환 할 수없는 행 (아래 예에서 2)을 저장하는 대신 호환되지 않는 출력을 사용하려고 시도하고 있지만 전체 CSV 파일을 저장합니다. 변환에 실패

1열

3답변

.avro 파일에서 하이브 테이블로 데이터 가져 오기

다음 명령과 avro 스키마를 따라 하이브 테이블을 만들었습니다. 이제 HDFS에있는 데이터를 생성 된 테이블로 덤프하고 싶습니다. HDFS 위치가 있습니다. 디렉토리 구조가 t/y/m/d/h/hh/data.avro 인 데이터가 있습니다. 내 파티션 열이기 때문에 분할 영역에 따라 여러 개의 디렉토리가 있습니다. 모든 데이터를 만든 테이블에 덤프하고 싶습니

1열

1답변

내가 내 인 IntelliJ에서 Gradle을 프로젝트가 인 IntelliJ

에 Gradle을 프로젝트에 브로를 가져올 수 없습니다, 내 build.gradle 이 tutorial을 따라하지만 IntelliJ를 자동 옵션으로 브로 팝업하지 않습니다 그리고이 가져 오기 을 수동으로 추가하려고하면 자동으로 Avro를 옵션으로 완료하지 않습니다. 사실 저는 온라인에서 광범위하게 검색해 보았지만 다른 접근법을 시도했지만 아직 행운이 없습니

0열

1답변

flush를 사용하여 csv 파일을 avro로 변환하고

큰 데이터를 처음 사용하고 Flume을 사용하여 csv 파일을 HDFS로 전송하는 작업이 있지만이 CSV를 avro로 변환해야합니다. 내가 사용 수로 구성 다음과 같은 것을하려고 노력 : a1.channels = dataChannel a1.sources = dataSource a1.sinks = dataSink a1.channels.dataChann

1열

1답변

AVR 형식을 사용하는 BiqQuery 스트리밍 삽입

스트리밍 삽입을 사용하여 AVRO 형식의 데이터를 BigQuery에 삽입하는 방법이 있습니까? 그렇다면 google-cloud-python을 사용하고 있으며 지원되지 않습니다. 지원되는 유형은 json뿐입니다. 내가 놓친 게 있니? BQ 스트리밍 삽입에 관한 문서는 데이터 유형을 다루지 않는 것으로 보입니다. AVRO 데이터 형식은 here으로 언급되었지만

2열

2답변

의 java.math.BigDecimal가

내가 java.math.BigDecimal의 유형에 대한 브로 스키마를 작성하는 데 문제가 , 나는 다음과 같은 시도 파일 .avdl : 아 브로 관계자 doc을 바탕으로 , 내가 알고 BigDecimal을 지원하기 위해 직접 Logical Types를 정의해야하지만,이 링크는 avsc에서만 예제를 제공합니다. avdl에서 알아 내려고 노력하고 있습니다.