2013-08-23 4 views
2

지도 감속기에서 생성 한 데이터를 hdinsight에 쉽게보고 할 수있는 형식으로 저장하고 싶습니다. 이상적인 테이블 구조 (Azure 테이블 스토리지). 몇 가지 조사를 해보니 HDInsight 서비스는 Azure Storage Vault (ASV) (읽기 및 쓰기)에서만 작동 할 수 있습니다. 그 맞습니까?HDInsight는 ASV (blob storage)에서만 작동합니까?

나는 C#에서 hdinsight 매퍼/리듀서를 구현하는 것을 선호합니다.

하이브 또는 돼지에 대해 많이 알지 못하며 ASV 이외의 외부 (푸른 색 테이블) 데이터 저장소에 감속기의 결과를 유지할 수있는 기능이 있는지 궁금하십니까?

답변

1

현재 기본 저장소 백업 HDInsight는 ASV입니다. HDInsight 클러스터의 '로컬'HDFS 파일 시스템에 데이터를 저장할 수도 있습니다. 그러나 이는 클러스터를 영구적으로 실행하는 것을 의미하며 계산 노드의 저장소로 제한합니다. 이것은 매우 비쌀 수 있습니다.

크기에 따라 SQL 서버 (또는 SQL Azure)와 같은 결과를 얻을 수있는 솔루션이 있습니다.

또는 현재 현재 Azure 테이블에서 하이브로 (외부 테이블을 통해) 읽을 수 있지만 곧 서면 지원을받을 예정입니다. connector between Hive and Azure Tables으로 작업 중입니다.

+0

내 가정을 증명해 주셔서 감사합니다. HDInsight "로컬"HD에 데이터를 저장하지 않는 것이 좋습니다. 나는 또한 sqoop을 살펴볼 것이지만 ASV를 사용하고 Azure에서 얼룩을 다루기 전에 데이터에 대한 보고서를 작성하기 전에 map/reducer에 의해 수행 될 가장 큰 작업으로 hadoop의 장점을 사용하지 않는 것이 좋습니다. – Paul

관련 문제