0
데이터를 관계형 데이터베이스에서 HDFS로 이동해야하지만 데이터를 parquet-avro 파일 형식으로 저장하고 싶습니다. sqoop documentation을 보면 내 옵션이 --as-parquetfile 또는 --as-avrodatafile 인 것처럼 보이지만 둘 다 혼용하지는 않습니다. 이 blog/아래 그림의 내 이해에서 parquet-avro의 작동 방식은 avro 스키마가 포함 된 쪽모 파일과 avro 개체를 쪽모락 파일로 변환하고 변환하는 변환기입니다.Sqoop을 사용하여 parquet-avro 파일 형식으로 데이터를 저장하는 방법은 무엇입니까?
처음에는 sqoop 옵션 --as-parquetfile을 사용하면 쪽모퉁이 파일에 저장된 데이터에 avro 스키마가 없어져 변환기가 작동하지 않는다고 가정합니다. 그러나 마루 파일 형식으로 데이터를 저장하는 sqoop code을 보면 avro와 관련된 util을 사용하고있는 것처럼 보이지만 무슨 일이 일어나는지 잘 모르겠습니다. 누군가 명확히 할 수 있을까요? 내가 sqoop로 할 수 없다면, 내가 가지고있는 다른 옵션은 무엇입니까? 당신이 아 브로 객체로 아파치 마루에 저장됩니다/쓰기 데이터를 읽을 수 있도록
