나는 혼란 스럽다. 현재 데이터웨어 하우스와 Hadoop 플랫폼을 통합해야합니다. 지금까지 나는 전통 ET를 해왔다. 이제 내 질문에하둡 ETL을 사용한 데이터웨어 하우스
1. How Hadoop will involve into this ETL process ?
2. I need to load my data into SQL server
3. How can I achieve ETL in Hadoop ?
입니다 그리고 내 HDFS는 플랫 파일 (.csv)로
중 하나가 나를 도울 수를 유지? 모든 아이디어를
는 하둡에서, 당신은 파일로 HDFS에 DW 데이터를 저장할 수 환영합니다. DW를 Hadoop으로 마이그레이션하려는 경우. 기존 DW의 데이터를 hadoop 기반 DW 도구 인 Apache Hive로 전송할 수 있습니다. U는 데이터
당신이 UR의 두 번째 점에 대한 자세한 내용을 제공 할 수 (Sqoop을 작업을 통해 UR DW 서버와 하둡 서버 간의 연결을 설정) 포트에 Sqoop을 사용할 수?
U는 Pig 도구를 통해 Hadoop에서 ETL을 얻을 수 있습니다. 더 많은 ETL 목적을 위해 Java는 Java를 사용하여 사용자 정의 돼지 UDF를 작성합니다.
Sqoop은 SQL 데이터베이스에서 Hadoop으로 DW 마이그레이션을 수행하는 데 매우 널리 사용되는 도구입니다. 주의를 기울이지 않으면 많은 부하를 생성 할 수있는 데이터베이스에 대해 MapReduce 작업을 시작하기 때문에 위험합니다.
하둡은 정말 보통 HDFS (파일 시스템)를 참조 그냥 포괄적 인 용어와 하둡에 대한 원래의 처리 프레임 워크 때때로 맵리 듀스이다. 이러한 하이브보고를 할 (HDFS의 파일을 분석하는 SQL과 유사한 쿼리 엔진) 등
당신이 도구를 사용하게 될 가능성이 높습니다.
한 질문을 확인 웹 기반 GUI와 친근 인제 스트 도구에 관심이 있다면 왜 당신이 당신의 DWH에 하둡을 통합해야합니까? – mauro