2011-07-04 3 views
9

저는 비교적 NoSQL 데이터베이스가 새롭고 모니터링 도구에 대해 다른 NoSQL-Solutions를 평가해야합니다.CouchDB는 매일 1,500 만 레코드를 처리 할 수 ​​있습니까?

상황은 다음과 같습니다. 하나의 데이텀은 약 100 바이트 정도지만 실제로는 많이 있습니다. 하루 동안 우리는 약 1500 만 레코드를 얻었습니다 ... 그래서 현재 9 억 레코드 (SQL 삽입 스크립트로 약 15GB)를 테스트 중입니다.

제 질문은 : Couchdb는 필자의 필요에 맞습니까? 레코드가 생성 된 날짜에 범위 쿼리를 수행하고 데이텀에 저장된 "2 ​​차 인덱스"에 의해 정의 된 그룹에 따라 일부 컬럼을 요약해야합니다. MapReduce가 아마도 , 허용 가능한 시간에 CouchDB의 JavaScript를 사용할 수 있습니까?

이미 MongoDB를 사용해 봤지만 정말 좋지 않습니다. MapReduce가 엉뚱한 직업을 가졌습니다 ... HBase와 Cassandra에 대해서도 읽었습니다. 하지만 maybee CouchDB도 좋은 가능성입니다.

나는 모든 필요한 정보를 제공해 주셨으면합니다 ... 도와 주셔서 감사합니다!

당신은 매우 좋은 하드웨어를 가지고하지 않는 한 앤디는

+1

먼저 성능을 알아내는 유일한 방법은 추측 할 수있는 변수가 너무 많기 때문에 측정하는 것입니다. 둘째, 50 세기의 RDBM 경험이 100 옥텟 데이터를 처리하기 위해 대기 중일 때 stuctured 저장소에 너무 끌리지 마십시오. 100B/행으로 추측하고 있습니다. 데이터가 매우 변형되지 않습니다 (SS가 우수함). – msw

+0

좋은 점, @msw. 물론 성능을 확실히 결정하는 방법은 측정입니다. 그러나 나는 1 차 근사를 구하는 것이 유효하다고 생각한다. 질문 제목을 조금 더 흑백으로 수정했습니다. (당신이 투표를 종료하거나 다른 사람이 었는지 확실하지는 않지만 IMHO는 공정한 질문입니다.) 마지막으로, RDBM에 관해서는 완전히 맞습니다. 그들은 우리가 믿는 것보다 더 귀중합니다. – JasonSmith

+0

평가하는 데이터는 현재 매우 강력한 SQL-Server에 의해 처리됩니다. 그러나 사용자가 대량의 데이터에서 정보를 얻으려는 요청을 처리 할 수 ​​없습니다. 그것은 단지 많은 시간을 필요로합니다. 그래서 우리는 수평 확장 기능이있는 NoSQL-Solutions를 검색합니다. – andy

답변

9

솔직히,이 시간에, 아파치 CouchDB를 문제로 실행할 수 있습니다. 지도/축소가 괜찮을 것입니다. CouchDB의 증분 map/reduce는 요구 사항에 이상적입니다.

개발자로서, 당신은 그것을 사랑합니다! 유감스럽게도 sysadmin으로 예상보다 많은 디스크 사용량과 I/O가 있음을 알 수 있습니다.

나는 그것을 시도하는 것이 좋습니다. HTTP와 Javascript를 사용하면 쉽게 실행 가능성 테스트를 수행 할 수 있습니다. 초기 뷰 빌드는 오랜 시간이 걸린다는 것을 기억하십시오 (인수가 다른 모든 경쟁 데이터베이스보다 오래 걸린다 고 가정 해 봅시다). 그러나 그 시간은 이 아니며은 다시 소비됩니다. 매핑/축소는 문서 당 한 번만 (실제로 문서 업데이트 당)입니다.

이름 브랜드 Apache CouchDB가 느리지 만 소파에서 휴식을 취하는 경우 BigCouch 클러스터가 문제없이로드를 확실히 처리합니다. 나는 이것보다 훨씬 더 큰 데이터와 I/O 요구 사항을 가진 BigCouch 클러스터가 있다고 확신한다.

+1

+1 그러나 "절대적이지 않다"는 말은 "디자인 문서를 변경하면 뷰를 재구성 할 때까지"라는 의미입니다. 그냥 당신이 이것을 준비하기 위해 ... :) –

+4

프로덕션 용도로, 거기에 대한 해결책이 있습니다. 당신이 어떻게 묻는다면, 나는 세부 사항을 기쁜 일이 될 것이다. 짧은 버전 : 다른 ID로 새 디자인 문서를 보냅니다. 인덱스를 작성하려면 쿼리하십시오.완료되면 HTTP COPY를 사용하여 이전 사본에 대한 새 사본의 이름을 바꿉니다. 원자력 업그레이드, 가동 중단 없음. – JasonSmith

+0

+1 '공정한 질문과 공정한 대답 (그리고 나는 신입 회원들에게 친절하게하려고 노력했기 때문에, (당신이 비스듬하게 묻기 때문에) 설명없이 나와 가까운 투표를하지 않아도된다. – msw

관련 문제