3
사육사, 내 zookeeper에 대한 동일한 백업 내 kafka의 좋은 방법입니다 알고 싶습니다. 난 그냥 S3 버킷에 내 데이터 디렉토리를 내보내 잠시 동안 백업/카프카을 복원하고 나는 <code>kafka</code>을 실행하는 간단한 <code>kafka</code> 3 노드와 <code>zookeeper</code> 5 노드를 실행하고
감사합니다.
A
답변
1
잘란도는 최근에 꽤 좋은 기사 how to backup Kafka and Zookeeper을 게시했습니다. 일반적으로 Kafka 백업을위한 경로는 두 가지입니다.
- 모든 주제가 복제되는 두 번째 카프카 클러스터를 유지 관리합니다. 이 설정을 확인하지는 않았지만 오프셋 항목도 복제 된 경우 다른 클러스터로 전환해도 소비자의 처리 상태가 손상되지 않아야합니다.
- 클라우드 저장소로 주제를 덤프합니다 (예 : S3 커넥터를 사용하여 (Zalando에 설명 된대로). 복원하는 경우 항목을 다시 만들고 클라우드 저장소의 데이터로 피드를 만듭니다. 이렇게하면 특정 시점 복원을 할 수 있지만 처음부터 주제에서 읽어야합니다.
선호하는 백업 솔루션은 사용 사례에 따라 다릅니다. 예 : 스트리밍 응용 프로그램의 경우 첫 번째 솔루션은 고통을 덜어 줄 수 있지만 이벤트 소싱에는 Kafka를 사용할 때 두 번째 솔루션이 더 바람직 할 수 있습니다.
사육사와 관련하여 카프카는 주제 (영구 저장소)와 중개인 발견 및 리더 선거 (임시)에 대한 정보를 보관합니다. Zalando는 Zookeeper 트리 구조를 반복하고 파일 구조에 덤프하고 나중에 압축하여 클라우드 저장소로 푸시하는 Burry을 사용하여 정착했습니다. a little problem이 있지만 대부분 카프카의 영구 데이터 (TODO 확인)의 백업에는 영향을 미치지 않습니다. Zalando는 복원 할 때 Zookeeper 클러스터를 먼저 생성 한 다음 새로운 Kafka 클러스터에 새 고유 한 브로커 ID를 연결하고 Burry의 백업을 복원하는 것이 더 낫다고 설명합니다. Burry는 기존 노드를 덮어 쓰지 않고 이전 브로커에 대한 임시 정보를 저장하지 않으며 백업에 저장되는 내용을 덮어 쓰지 않습니다.
주 : 출품자의 사용에 대해서는 언급되어 있지만 Burry로 백업 할 때는 백업 할 필요가 없습니다.
관련 문제
- 1. 나는 bash는이 간단한 <code>jar</code> 명령을 실행하고 배쉬
- 2. "<"을 "% lt;"로 대체하는 NSXML
- 3. 나는 연산자를 오버로드하려고합니다. <<
- 4. 다음 나는 숙제를 들어 파이썬 버전 3</p> <p>을 사용하고있는 자리
- 5. 나는 지식에 대한이</p> <p>을
- 6. 구조체 벡터에 <<을 오버로드하는 방법
- 7. '='을 (를) 파이썬에서 비트 연산자에 추가하면 무엇이 있습니까? (예 : '<<'대신 '<<')
- 8. 아파치 돼지에서 나는, <code>v</code>을 간단한 관계가 아파치 돼지
- 9. 이클립스 : 나는 내 간단한 <code>form.html</code>을 테스트 한 이클립스
- 10. PCollection에 PCollection <T>을 결합하는 간단한 방법 <Iterable<T>>
- 11. 셀레늄 Webdriver :</p> <p>나는 상단 메뉴에서/링크 5 개 버튼이 : 나는
- 12. Heredoc <<< 또는 <<?
- 13. github add <<<<<<< HEAD
- 14. C# <을 <HTML 파일로 바꾸기
- 15. 에코 "<! <"가 "<! >"을 반환하는 이유는 무엇입니까?
- 16. <"index">을 기대하지만 <[]>
- 17. 파이썬에서/<from <을 구별하십시오
- 18. <xsl:param>을 <command>
- 19. 이진 검색을 사용한 간단한 선형 방정식? 이진 검색을 사용하여</p> <pre><code>-x+3 = x+5 </code></pre> <p>같은 간단한 선형 방정식을 풀 수있는 방법이
- 20. 나는 <code><span></code>을 클릭하면 입력이 변경 될 때
- 21. 안드로이드 : 나는 <code>Textview</code></p> <p>에 <code>font family</code>을 설정하려는 XML 파일
- 22. 경고 <code>VIM</code>에서 <code>conque</code>을 실행하는 경우 VIM
- 23. git "<<<<<< HEAD"
- 24. "<<<<<< HEAD"템플릿에
- 25. C#을, 나는 목록에서 모든 <code>unArticle.CalculerCoûtArt()</code>을 요약 할 수 원하는 라벨 <code>lblAffCoût</code>에 결과 <code>sommeFinale</code>을 보여 목록
- 26. <<< EOT
- 27. 'operator <<'for 'std :: operator <<
- 28. GNUPLOT 5.0 "lt-lt lt -1"unrecognized
- 29. Application.Quit는() 나는 <code>GTK#</code>와 <code>C#</code> 코드의 간단한 조각이
- 30. 파이썬/P2P 나는 <code>P2P</code> 노드를 사용하여 파이썬 (<code>pyp2p</code>)을 작성하려고하지만이 오류가 발생하고 서버를
복제 모드에서 실행 중이므로. 백업으로 무엇을 의미합니까? – Abhimanyu
내 카프카가 화상을 입는 데이터 센터라면 어떻게해야합니까? 내가 복제본을 가지고 있어도 백업하고 복원 할 수 있기를 원합니다. – starttter
카프카의 메시지는 제한된 시간을 가지고 있습니다. 현재 상태를 저장하고 싶습니까, 아니면 포함 된 모든 데이터의 모든 기록 시리즈를 저장하고 싶습니까? 카프카에요? –