나는 재미있는 문제에 직면하고있다 : 사용자를 위해 Facebook, Foursquare 및 Twitter의 통합 피드를 표시해야하고 사용할 솔루션을 모른다. 많은 일괄 처리가 병렬로 실행되고 있으며 활동 스트림에 많은 업데이트가 있습니다.타임 라인 데이터 저장 솔루션
활동 목록을 조작해야하므로 처음에는 Redis를 시도했지만 많은 sunionstore 명령을 사용하면 복제가 작동하지 않습니다. 나는 생각하고있어 :
noSQL -> HBase.
newSQL -> VoltDB 및 SQLFire.
데이터 그리드 -> Infinispan, GridGain 및 Gigaspace
당신은 내가 사용해야에 대해 어떻게 생각하십니까? 다른 아이디어가 있습니까?
우리는 현재 2 년 동안 생산 중에 Hazelcast을 사용하고 있으며 그 성능과 확장성에 매우 만족합니다.
우리는뿐만 아니라 Gridgain를 사용하지만, 컴퓨팅 그리드하지
난 당신이 배치 및 실시간 삽입을 가질 수 Hazelcast가 갈 수있는 좋은 방법이 있어야한다고 생각 데이터 그리드, 그 API로 및 docs are good
Hazelcast에서 쿼리 API를 사용 했습니까? –
예, 몇 개의 노드에서 술어와 함께 쿼리 API를 사용하고 있습니다. 이 시점에서 성능 병목 현상은 없었지만 응용 프로그램에 따라 달라질 수 있습니다. 나는 우리가 70 % 읽기/30 % 시나리오를 작성하고 우리의 응용 프로그램을 메모리 누수없이 몇 달 동안 실행시켜야한다고 언급한다. Hazelcast를 임시/내결함성 데이터 저장소로 사용하고 있으며,이 데이터 스토어에서 일괄 처리 및 집계 함수를 실행하여 프론트 엔드 앱에만 미리 계산 된 데이터 만 제공합니다. 원시 데이터는 HZ에서 삭제됩니다. 따라서 우리는 "영원히 성장"하지 않습니다. – Grooveek
영구 저장 장치가 필요하거나 mem에 문제가 있습니까? – Grooveek
일관성과 일관성이 전혀 도움이되지 않으므로 mem은 괜찮습니다. –