avro

0열

1답변

Hadoop - Avro : java.lang.NoClassDefFoundError : org/apache/avro/hadoop/io/AvroKeyComparator

Map Reduce 프로그램을 개발하여 고정 길이 레코드를 읽고 avro 파일로 작성합니다. 이것은 초안 양식입니다. 실행하는 동안, 나는 아래의 오류 : java.lang.Exception: java.lang.NoClassDefFoundError: org/apache/avro/hadoop/io/AvroKeyComparator at org.apac

0열

1답변

confluent-kafka avro with pip을 설치하십시오.

macOs Sierra에서 python3을 사용하여 confluent-kafka 용 avro 패키지를 설치하려고합니다. confluent-kafka 패키지를 설치하면 문제가 없습니다. 나는 브로 패키지를 설치하려고하면 문제는 : pip install confluent-kafka[avro] 난 그냥 말, 배쉬에서 오류 메시지가 : no matches fo

0열

1답변

node.js의 이진 RPC

일반적으로 node.js 환경의 Javascript로 작성된 서버가 다른 서버가 제공하는 서비스에서 최종 사용자에 대한 응답을 수집한다고 가정 할 때, JSON을 말하는가? RPC 호출은 일반적으로 XDR (이진수) 또는 JSON (ASCII)을 사용합니다. 이 경우에는 지루한 모든 소켓을 처리 할 수있는 편리한 라이브러리가 있습니다. RPC를 사용하는 N

1열

2답변

Conflent Kafka 스키마 레지스트리가있는 Flink

FlinkKafkaProducer10을 사용하여 Flink에서 스키마 레지스트리가있는 Confluent kafka에 쓰려고합니다. 아래의 오류가 발생합니다. 사용자 지정 스키마 serializer를 만들었습니다. ConfluentAvroSerializationSchema 클래스를 참조하십시오. 코드가 컴파일되지만 런타임 오류가 발생합니다. 오류를 생성하는

0열

1답변

Spring Cloud Data Flow에서 Avro 구현하기

데이터베이스에서 레코드를 읽어들이는 Spring Cloud Dataflow 스트림을 구현하려고하는데,이를 Avro 스키마로 변환 한 다음이를 싱크 애플리케이션에서 사용하도록 전달하는 프로세서로 전달합니다. 데이터 원본을 SQL 데이터베이스에서 소스 응용 프로그램으로 전송하고 문제없이 카파 바인더를 통해 데이터를 전달합니다. 프로세서에서 싱크 응용 프로그램

0열

1답변

두 열의 한 필드에서 AVRO 데이터를 표시하는 방법은 무엇입니까?

c1이라는 열이있는 레코드로 작성된 AVRO 파일이 있다고 가정 해 보겠습니다. 작성한 스키마로이 파일을 읽을 때 모든 데이터가 c1에서 가져옵니다. 이제 세 개의 열이있는 다른 스키마로 해당 파일을 정확하게 읽을 수 있습니까? c0이라는 이름의 열과 기본값 인 null이 있으며 첫 번째 스키마와 마찬가지로 모든 값을 반환하는 c1이라는 열이 있습니다. 그

0열

1답변

254 개 이상의 fileds를 가진 스키마 avro에서 플랫 케이스 클래스 생성

플랫 스키마에서 작업 중이며 내부에 중첩 된 유형이없고 254 개 이상의 필드가 있습니다. 목표는 : 매개 변수 목록의 길이가 JVM에 254을 초과 할 수 없습니다 : 내가 뭘 원하는 문제 특정 발전기에 의해 평평한 경우 클래스에 자동으로 변환 스키마의이 종류이다 내가 =>이 플러그인을 사용하려고 무엇 SBT-avrohugger 및 SBT-avro4s,하

-3열

1답변

Mapreduce를 사용하여 hadoop의 Avrofile에 텍스트 파일

mapreduce를 사용하여 hadoop hdfs에서 텍스트 파일을 avrofile로 변환해야합니다. 이미 텍스트 파일을 hdfs에 넣었습니다. mapreduce에서 구현하는 방법을 알지 못했습니다.

1열

1답변

날짜/타임 스탬프 문자열을 Oracle DB의 날짜 타임 스탬프 열에 쓰는 방법은 무엇입니까?

AVRO 파일 형식과 하이브 외부 테이블을 사용하여 Hadoop에 일부 Oracle 테이블을 저장하여 데이터에 액세스했습니다. 가져 오기시 오라클의 TO_CHAR 함수를 사용하여 날짜 및 타임 스탬프 값을 형식화 된 문자열로 저장했습니다. 이제이 정확한 데이터를 Spark으로 Date 열이있는 Oracle 테이블로 다시 내보내려고합니다. 나는 명령을 사용합

1열

1답변

avro avdl 파일을 여러 모듈에 공유하십시오.

저는 다중 모듈 프로젝트를 운영하고 있습니다. 일반적인 모듈이나 일반적인 모듈을 정의하는 핵심 모듈이 있습니다. 나는 핵심 모듈에 avdl 파일을 정의했다. 그리고 코어 모듈의 avdl 파일에 정의 된 유형을 사용하는 다른 모듈에서 다른 avdl 파일을 정의하려고합니다. 어쨌든 avro maven plugin으로 그렇게 할 수 있습니까?