기존 스키마를 기반으로 Avro를 만들려고 시도 중이지만 here에있는 자습서의 구문을 사용하는 동안 오류가 발생합니다. 콘솔은 'bytes'객체에 'to_json'속성이 없지만 Avro 라이브러리의 깊숙한 곳이라고 말합니다. 이 좋은 해결책이나 오류를 수정하는 방법이 있습니까? 전체 오류 : Traceback (most recent call last):
Apache의 avro-tools 패키지를 사용하여 Java 클래스에서 .avsc 파일을 생성했습니다. 나는 내 메인 클래스에 ReflectData을 지적하고 그것을 사용하여 스키마를 출력했다. 문제는 여러 가지이지만 근본적으로 스키마 및이 같은 클래스에서 생성 되었더라도 내 문제는 Avro 파일을 만들 수 없습니다. 자바의 코드는 다음과 같습니다 Sche
Avro 및 JSON에서 속성을 추출하는 데 대한 내 머리를 쓰려고합니다. EvaluateJsonPath 프로세서를 사용하여 JSON에서 속성을 추출 할 수 있습니다. 나는 Avro에 대해서도 똑같이하려고 노력하고 있지만 그것이 성취 가능한 것인지 확신 할 수 없다. >SplitAvro - - 여기 내 흐름은, ExecuteSQL>UpdateAttribut
나는 kafka에서 avro 메시지를 읽으려면 spring-cloud-stream-schema을 사용합니다. 나는 MessagesChannels에 입력 채널을 구성 : @Input("topicName1")
SubscribableChannel fromInput1();
내가 그와 같은 구성 파일이 :이 오류가 발생했습니다 @Configuration
@E
필자는 내 avro 스키마에서 "bytes"유형과 "decimal"논리 유형으로 정의 된 십진수 열 "TOT_AMT"를가집니다. 는 databricks 스파크 - 브로, I 그것이 발생 합산 함수를 사용하여 TOT_AMT 열 합산하려고 할 때 사용 스파크의 데이터 프레임을 생성 한 후에 오류을 "기능 합 Binarytype없는 숫자 형식을 요구한다". 열이
저는 Avro를 처음 사용하고 일부 중첩 된 객체를 직렬화하는 코드를 작성하려고합니다. 객체의 구조는 다음과 같습니다 class Parcel {
String recipe;
Map<Integer, PluginDump> dumps;
}
class PluginDump {
byte[] state;
Map<String, Pa
avo 파일 형식으로 sqoop을 사용하여 선택한 열이있는 테이블을 가져 왔습니다. avro-tools를 사용하면 날짜가 이상한 형식으로 표시됩니다 (부정합니다). 어떻게 날짜를 해독 할 수 있습니까? {"first_name":{"string":"Mary"},"last_name": {"string":"Botman"},"birth_date":{"long":-
데이터를 관계형 데이터베이스에서 HDFS로 이동해야하지만 데이터를 parquet-avro 파일 형식으로 저장하고 싶습니다. sqoop documentation을 보면 내 옵션이 --as-parquetfile 또는 --as-avrodatafile 인 것처럼 보이지만 둘 다 혼용하지는 않습니다. 이 blog/아래 그림의 내 이해에서 parquet-avro의 작
Java 프로젝트에서 이전에 정의 된 스키마 파일을 기반으로 클래스를 자동으로 생성하려고합니다. 이 작업을 수행하려면 Avro Maven 플러그인을 사용했습니다. 문제는 생성 된 클래스가없는 순수 POJO 객체 있다는 것입니다 - 내 데이터 모델에 싶지 않는 브로 참조 (간단하게 할)도 있습니다 : import org.apache.avro.Schema;