나는 궁금한 점이있다.hadoop에 분산 된 대안
분산 및 확장 가능 범위는 무엇입니까 hadoop 대신이 있습니다. HDFS과 같은 분산 파일 시스템을 찾고 저렴하고 효과적인 저장소로 사용할 수 있으며 데이터 처리 엔진 (배치/실시간)을 그 위에 배치하고자합니다. 나는 스파크가 좋은 대안이 될 수 있다는 것을 압니다. 하지만이 시스템을 분산되어 있으며 내결함성과 확장 성을 갖춘 파일 보관소로 사용하고 싶습니다. 적절한 해결책이 있습니까? 제안을 환영합니다. 감사합니다 :)
다음은 Hadoop 및 Apache Spark의 다른 대안입니다. Cluster Map Reduce, Hydra and Conclusion은 대용량 데이터 프로젝트에 비교적 적합합니다. 자세한 내용은 여기 https://datafloq.com/read/Big-Data-Hadoop-Alternatives/1135
여전히 대안으로 찾는 경우 읽기,이 기가 옴 기사는 도움이 될 수 https://gigaom.com/2012/07/11/because-hadoop-isnt-perfect-8-ways-to-replace-hdfs/ 를 HDFS에 플러시 기본 스파크에 의해.
HDFS는 GFS (Google FS) 대신 오픈 소스이므로 GFS에 커넥터를 사용할 수 있습니다 (Google FS는 Google Cloud Platform Storage 서비스를 통해 제공됩니다). 방대한 데이터에 비용이 많이 듭니다. 노드/클러스터간에 전송됩니다. Hadoop은 실시간 데이터 용으로 설계된 것이 아니라 동적 데이터 용으로 설계되었습니다. 나는 이것이 어떻게 든 도움이되기를 바랍니다. (그러나 기본 FS는 HDFS입니다) https://mapr.com/why-mapr/
위의 모든 링크가 일반 HDFS 20 % 이상 빠른 주장 MapR
감사합니다! 그러나 현재 이것을 조사하고 있지 않다! – Sachin
MapR-FS "... 그러나 기본 FS는 HDFS 임"에 대한 P.M 문구가 정확하지 않습니다. MapR-FS는 HDFS를 기반으로하지 않고 분산 된 고 가용성 파일 시스템입니다. MapR-FS에는 디스크에 데이터를 구성하는 자체 구현 및 방식이 있습니다. 그러나 MapFS-FS는 HDFS API를 사용하여 액세스 할 수 있습니다. 즉, 분산 저장 장치와 같이 MapR-FS로 작업 할 수있을뿐만 아니라 Hadoop 응용 프로그램을 실행할 수도 있습니다. –
답장을 보내 주셔서 감사합니다 :) 그 기사에서 언급 한 것 이외의 다른 대안이 있습니까? 기본적으로 분산 형, 내결함성 및 확장 성이 뛰어난 파일 아카이브가 필요합니다. – Sachin
구체와 Riak를 보십시요 –
좋습니다. 나는 할 것이다. 고마워요 :) – Sachin