C#으로 마루 데이터 직렬화하기

Question

C#을 사용하여 Apache Parquet 형식으로 데이터를 직렬화하는 방법이 있습니까? 그 구현을 찾을 수 없습니다. 관례 마루 문서에서 "두루 리티는 다른 희생당한 언어로도 코딩 될 수 있습니다."라고합니다. 그러나 이것이 실제로 무엇을 의미하는지 확신 할 수 없습니다.

감사합니다.

Answer 1

우리는 Apache Parquet의 .NET 구현을위한 opensource 프로젝트를 시작 했으므로 누구나 가입 할 수 있습니다. https://github.com/elastacloud/parquet-dotnet

Answer 2

아니요. 나는 .NET을 위해 내 자신의 쪽모작 작가를 쓰려고 일주일을 보냈고 너무 복잡하다. 즉 훨씬 더 많은 시간이 필요하다. 파이썬과 fastparquet 라이브러리를 사용하여 Hadoop 클러스터 외부에서 처리를 끝내었다. fastparquet은 놀랄만 한 작업이며 매우 쉽게 작업 할 수 있다고 말해야합니다. 그러나 중첩 된 열과 파일에 효과적으로 추가 할 수있는 기능이 없습니다. 배포 할 골치 거리가 될 수있는 Python3에 대한 의존성을 언급하지 않았습니다.

Thrift 프로토콜을 C#으로 생성 할 수 있지만 그다지 멀리하지는 않습니다. 출력이 마루판 사양과 호환 될 수 있음을 의미합니다.

아직 .NET Core/.NET 4.5 용 오픈 소스 파켓 라이브러리를 만들고 싶습니다. 누구나 협조하고 싶다면 알려주세요.