다양한 응용 프로그램 서버 (예 : 웹 응용 프로그램)가 있고 Hbase, 임팔라, 하이브 등을 사용하여 hadoop을 사용하고 있습니다. 명령 줄을 사용하거나 색조와 같은 웹 인터페이스를 사용하여 찾고있는 결과를 얻을 수 있습니다.hadoop 클러스터를 애플리케이션 서버와 통합하는 방법은 무엇입니까?
이제 어떻게 MySQL, MSSQL, Oracle 등과 같은 백엔드 솔루션을 대체하는 현재 응용 프로그램과 Hadoop을 백엔드로 통합 할 수 있습니까?
p.s hadoop을 사용한 일괄 처리가 많지만 HBase는 실시간에 가까운 분석을 제공합니다. 일괄 처리 일지라도 사용자가 일부 분석을 시작하고 돌아와 내 프론트 엔드 응용 프로그램에서 결과를 볼 수있게하려고합니다.
변형이 많은 일반적인 패턴에는 새로 처리 된 데이터 (또는 스톰 토폴로지 또는 Kafka 소비자)에 반복해서 실행되는 Hadoop 워크 플로를 사용하여 데이터를 처리하고 NoSQL DB에 캐시하는 작업이 포함됩니다. 더 정밀한 결과를 원한다면 Cassandra 또는 HBase와 같은 것을 사용할 수 있습니다. 더 정밀한 결과를 얻으려면 elasticsearch 또는 mongoDB를 사용하십시오. 그런 다음 웹 API 계층에 요청이 들어 오면 로직이 캐시 DB에서 필요한 최신 데이터를 가져올 수 있으며 선택적으로이를 올바른 형식으로 변환하고 마지막 분 계산을 적용한 다음 클라이언트에 데이터를 반환 할 수 있습니다. JSON 객체.
당신은 PHP 나 Perl 등의 웹 API 레이어에서 HBase/Impala/Hive와 인터페이스 할 수있는 솔루션을 제공 할 수 있습니까? Thrift에 관한 내용을 보았지만 이야기 할 수있는 일반적인 중간 계층이 있습니다. 여러 기술로 – Joel
각 프레임 워크는 여러 개의 인터페이스를 제공하며 서로 호환되지 않는 고유 한 API입니다. Spring Data을 보면 여러 데이터베이스 (RDBMS 및 NoSQL)로 작업하기가 쉽습니다. 여기 (1, 2)는 스프링 데이터에 대한 책입니다.
나는 스프링 데이터를 따르지 않았으므로 주변 지역 사회가 얼마나 활발한 지 잘 모릅니다. 어쩌면 누군가가 이걸 덧붙일 수 있습니다.
이것을 달성하는 방법을 알아 냈습니까? 나는 또한 여기에서 붙어있다. 각 도구의 작동 방식을 알고 있습니다. 하지만 웹 애플 리케이션 (PHP/자바)에서 그들을 인터페이스하는 방법을 찾고 있어요. – Dexter