avro

21열

5답변

Avro 바이너리 인코더를 사용하여 카프카 메시지를 인코딩/디코딩하는 방법은 무엇입니까?

카프 카에서 읽고 쓰는 메시지에 Avro를 사용하려고합니다. 누구든지 Avro 바이너리 인코더를 사용하여 메시지 대기열에 넣을 데이터를 인코딩/디코딩하는 예가 있습니까? 카프카 부품보다 Avro 부품이 필요합니다. 아니면 다른 해결책을 찾아야할까요? 기본적으로, 나는 공간에 관해서 JSON에보다 효율적인 솔루션을 찾으려고 노력하고있다. Avro는 JSON보

1열

1답변

Hadoop의 DBInputFormat을 사용한 MultipleInputs

데이터베이스에 각 테이블이 다른 엔티티 유형 인 여러 테이블이 있습니다. 나는이 다른 엔티티 유형의 모든 필드의 합집합 인 엔티티 유형 필드가있는 hadoop에서 사용하는 Avro 스키마를 가지고있다. 내가 원하는 것은 엔티티 유형을 결합 된 Avro 유형에 맵핑하는 각 엔티티 유형에 대해 DBWritable을 사용하여 DBInputFormat을 설정하는

1열

1답변

돼지에서 AvroStorage로 쉼표로 구분 된 목록

쉼표로 구분 된 목록을 사용하여 돼지에서 AvroStorage로 여러 파일을로드하려고했습니다. 내가 사용한 진술은 다음과 같습니다. test_data= LOAD 'repo_1/part-r-00000.avro,repo_2/part-r-00000.avro' USING org.apache.pig.piggybank.storage.avro.AvroStorage();

2열

1답변

메시지에 하나 이상의 메시지가 포함되어있을 때 avro 스키마 (파이썬) 컴파일

나는 import avro 등을 사용하여 파이썬에서 avro 스키마를 컴파일합니다. 때때로 내 avro 스키마는 다음과 같이 보일 것입니다 : { name: "Message1" ..... } { name: "Message2", "fields": [ { "type": "Message1", "name": "previous_avro_schema" } ] }

1열

2답변

하둡 스트리밍의 하위 호환성

AFAK, 하둡 스트리밍은 텍스트 입력 만 지원합니다. 즉, 데이터는 라인별로 구성됩니다. 그러나 우리가 이전 버전과의 호환성을 원한다면 매퍼 코드가 엉망이 될 것입니다. C++로 작성한 동일한 매퍼 프로그램에서 다른 버전의 로그 라인을 지원합니다. 나는 avro 또는 protobuf를 고려해 보았지만 스트리밍 모드에서는 지원되지 않는 것 같습니다. 사실입

1열

1답변

Avro json decoder : 네임 스페이스 무시

프로젝트에서 Apache Avro를 사용하려고 시도했지만 일부 어려움을 만났습니다. avro serialization/deserialization이 매력처럼 작동하지만 ... 디코딩 예외가 발생합니다. blah-blah-blah ... 만일 incomming json doesn''t가 namepsace 기록을 포함하면 ... 예. "user":{"demo.

1열

2답변

아파치의 avro 용 cat 유틸리티가 있습니까?

Apache의 바이너리 avro 파일 형식 용 'cat'유틸리티가 있는지 알고 싶습니다. gcat과 bzip2 각각에 대해 zcat 행 또는 bzcat을 사용하십시오. 도움 주셔서 감사합니다.

2열

1답변

avro-maven-plugin 버전 1.6.1 사용시 더 이상 사용되지 않는 코드

Apache Avro를 사용하여 Java 코드를 실행 중입니다. 일부 코드는 Java 파일에서 사용되지 않으므로 이유가 확실하지 않습니다. Maven을 사용하여 Java 프로그램을 실행하고 있습니다. 이 자바 파일 public class AvroAddressTest { public int tempRand; static String[] NAMES = {