SOLR 및 V 노드 및 토큰

Question

참고 : 약간의 형식을 다시 지정하고 몇 가지 추가 정보를 추가했습니다. DSE 5.0 및 5.1 및 5.2 년 C * 정상 회의에서 언급 된 향후 변경과 같은 조언이 도움이 될 것입니다 - Question_Answer 내가 물어보고 싶은

가 :

이 제발 좀 봐?

우리의 사용 사례는 다음과 같습니다

플랫폼은 항상 사용할 수 있어야합니다. (카산드라)
데이터를 검색 할 수 있어야합니다. (SOLR/루씬)
분석을 제공해야 플랫폼/데이터웨어 하우징/BI 등 (도표/스파크)

그 모든 DSE에 감사를 제공하는 하나의 제품에서 가능하다! DataStax에 감사드립니다!

데이터 저장량과 거래 횟수는 매우 적습니다.
우리의 명세는 응용 프로그램 내에서 100 개의 동시 세션에 대한 것입니다. 물론 100 개의 동시 DB 요청/작업으로 변환하지는 않습니다.

대부분의 경우 애플리케이션은 일상적인 엔터프라이즈 CRUD 애플리케이션과 유사합니다.

어리석은 것은 아니지만 AWS 인스턴스는 완전히 무료는 아닙니다.
각 작업 부하에 대해 별도의 클러스터를 보유하면 (연속 가용성을위한 복제 기능이 충분 함) 비용 문제가 발생할 수 있습니다.

개념의 증명은 실제 작업 부하/실제 사용자가 없으면 "생산"시스템 및 악의적 인 사용자 만이 제공 할 수있는 방법으로 서비스/응용 프로그램을 통해 전달할 수 있습니다. 에 대한 통찰력. 당신이 할 수있는 최선의 방법은 "기능을 갖춘"기능 테스트입니다.

간단히 말해서, 우리는 플랫폼의 관점에서 볼 때 조금 붙어 있습니다.

우리는 처음에 갖는 생각하고 : local_quorum의 3
CL의

2 데이터 센터를 지리적 격리를 위해
2 랙을 DC 당
2 노드 랙 당은
RF

성능 문제가있는 것으로 판단되면 수평 적으로 확장 할 수 있습니다. 추가 랙 또는 추가 노드를 초기 2 랙에 추가 할 수 있습니다.

V 노드 또는 토큰 수에 대해서는 잘 모릅니다.

DSE 검색 설명서에 V 노드는 30 %의 오버 헤드가 추가되므로 V 노드를 사용하면 안되는 것처럼 들리지만 문서의 표에는 16 또는 32를 사용한다고 표시됩니다. 어떻게 할 수 있습니까? 둘 다?

단일 노드에서 모든 작업을 성공적으로 실행할 수 있다면 (우리의 요구 사항은 아주 미미합니다) V 노드 (16 또는 32)로 실행합니까 아니면 단일 토큰을 실행합니까?

마지막으로 다른 대안이 있습니까?
동일한 데이터 센터에서 다른 작업 부하를 가진 노드를 사용할 수 있습니까? 특정 작업 부하에 대해 개별 노드가 RAM/CPU 요구 사항으로 설정되는 경우?

(단지 출발점으로 - 우리는 당신이 성공적으로 단일 노드에서 검색을 실행/또는 단일 노드에서 스파크 수 있는지 여부를 아무 생각이 없다) 데이터 센터 당 우리의 4 노드를 가정

노드 1 : 그냥 카산드라
노드 2 : 카산드라와
노드 3 검색 카산드라와 그래프
노드 4 : 카산드라 및 검색 64 기가 바이트 RAM을 필요로하는 경우

스파크 - 그렇게 될 ...하지만 잘 작동 할 수있는 카산드라 노드 만 단지 8 또는 16입니다.

작업 부하 유형별 CPU 및 메모리 측면에서 볼 때 단일 DC 만 사용할 수 있습니다. (이중화는 2 개가 있지만 실제로는 단일 DC 설치 : 미러 됨)

미리 도움을 요청 해 주셔서 감사합니다.

Answer 1

Vnodes는 검색 솔루션의 스 캐터 - 수집 부분에 추가 오버 헤드를 추가합니다. 일부 벤치 마크에서는 30 % 나 높았습니다. 일부 고객은 그 오버 헤드로 기꺼이 살고 동적 스케일링의 이점으로 인해 v 노드를 사용하려고합니다.

작은 클러스터를 가지고 있거나 계획 중이고 확장 할 필요가없는 경우 단일 토큰을 사용하는 것이 좋습니다. 이 접근법의 숨겨진 이점은 수리가 약간 더 빨라진다는 것입니다. 이 기능은 CL.ONE과 동일한 수준의 검색 기능을 제공합니다.

동일한 DC (검색, 분석 및 현재 그래프)에서 모든 기능을 실행할 수는 있지만 오버 헤드가 높아집니다. 프로세싱로드에 대처하기 위해 더 많은 메모리와 CPU 리소스를 가진 더 큰 노드가 필요합니다. 128Gb의 RAM으로 시작해서 거기에서부터 시작하겠습니다. 짐이 이라면 실제로는 빛이 덜 흘릴 수도 있습니다. 실행하려는 규모에서의 모든 벤치마킹과 마찬가지로 중요합니다.

제쳐두고 나는 RF의 의도에 대해 완전히 명확하지 않습니다. 당신은 2 개의 노드와 RF = 3을 암시하는 종류입니다. 나는 이것이 단지 표현이라고 추측 합니다만, 그렇지 않다면, 적어도 RF 범위만큼 많은 노드를 원한다는 점은 주목할 가치가 있습니다!