avro

0열

1답변

우리가 직면 한 디자인 문제. 나는 다음과 같은 열이 마루 형식의 하이브 외부 테이블이 있습니다 describe payments_user col_name,data_type,comment ('amount_hold', 'int', '') ('id', 'int', '') ('transaction_id', 'string', '') ('recipient_i

3열

2답변

브로 스키마 형식의 예외 "레코드"는 브로-도구를 사용하여 정의 된 이름

내가 생성하기 위해이 브로 shcema { "namespace": "nothing", "name": "myAvroSchema", "type": "record", "fields": [ { "name": "checkInCustomerReference", "type": "string" }

0열

1답변

특수 문자로 이름 필드에 avro 변환

누구나 Avro 스키마없이 Json to Avro 변환을 수행 했습니까? 잡스는 json이 이름 필드에 특수 문자를 가지고 있기 때문에 avr04s가 실패했습니다. 동적 인 경우 JSON에서 바로 avro 파일을 생성해야합니다. 그것이 가능하지 않다면 특수 문자로 사례 클래스 또는 pojo를 만들 수 있습니다. 그러나 모든 이름 필드에는 하나 또는 다른 종

0열

2답변

apache avro api의 getLogicalType() 함수가 null 인 경우에도 반환합니다.

apache avro를 사용하고 있으며 내 스키마에서 논리 유형을 가져 오려고합니다. 나는 함수 getLogicalType()을 사용해 보았지만 null을 리턴한다. 나는 틀린 것을 이해하지 못한다. 내 스키마는 다음과 같습니다. 다음는 { "namespace": "example.avro", "type": "record", "na

0열

1답변

카프카 소비자 대 아파치 플 링크

나는 스파크 스트리밍을 사용하여 카프카 (Kafka)에서 데이터를 읽는 작업을 수행했다. 그러나 우리 조직은 Apache Flink 또는 Kafka 소비자를 사용하여 Apache kafka의 데이터를 표준 프로세스로 읽습니다. 따라서 Kafka 스트리밍을 Kafka 소비자 또는 Apache Flink로 대체해야합니다. 내 응용 프로그램의 경우에는 kafka

1열

1답변

일부 변수를 무시하여 Java 객체 로깅

100 개가 넘는 속성을 가진 java (avro) 객체가 몇 개 있습니다. 비밀 데이터는 로그에 인쇄해서는 안됩니다. 몇 가지 속성을 건너 뛰고 나머지를 인쇄 할 수있는 방법이 있습니까?

0열

1답변

avro 스키마 및 생성 된 파일에서 10 진수 데이터 유형 지원

Avro 버전 1.8.1. "SALE_PRICE", "유형": [ "바이트", "널 (null)", "logicalType" "진수", "정밀 우리는 아브 스키마 "이름 "필드 아래에 있습니다 ": 18,"scale ": 17, 논리 유형을 십진수로 정의했습니다. 그러나 우리는 avro-maven-plugin을 사용할 때 정확한 데이터 유형을 생성하지 못하

0열

2답변

Avro 스키마의지도지도의지도

내 응용 프로그램에서지도지도의지도에 대한 Avro 스키마 (4 레벨 중첩 된지도)를 정의해야한다는 요구 사항이 있습니다. 마지막지도 (최종 내부지도)를 제외한 모든 레벨에서 키를 사용하고 있습니다. 나는 스키마의 장단점을 알고 싶다. 성능에 문제가 있습니까?

0열

1답변

간단한 계산 쿼리로 임팔감 메모리 한도를 초과했습니다.

편집 : 표에 손상된 AVRO 파일이 있습니다. 그들 중 일부를 제거한 후에는 모든 것이 잘 작동합니다. avro-tools를 사용하여 json으로 압축을 풀었으며 압축 해제 된 파일도 그리 크지 않습니다. 따라서 Impala에서 손상된 AVRO 파일을 처리하는 일부 버그 인 것 같습니다. 나는 "day"로 파티션 된 gziped AVRO 형식의 임팔라 테

0열

2답변

Avro IDL에서 논리적 유형을 사용하려면 어떻게해야합니까?

논리적 유형 timestamp-millis를 참조하는 Avro IDL에서 다음 코드를 시도했지만 작동하지 않습니다. Avro IDL에서 논리적 유형을 사용하려면 가져 오기가 필요합니까? 또는 논리적 인 타입을 사용할 수 없기 때문에 대신 원시 타입 (이 경우에는 길다)을 사용해야합니까? protocol test { record test {