Redshift에서 ElasticSearch로 데이터 복사

Question

ES 클러스터에 많은 양의 데이터가 저장되어 있습니다. ES 클러스터에 필드를 하나 더 추가하고 Redshift 테이블 열에서이 필드의 데이터를 업로드해야합니다. 저는 그러한 데이터 전송 작업을 한 번도 해본 적이 없으며 AWS를 처음 사용하고이 작업에 접근하는 방법과 이러한 데이터 전송을 수행하기 위해 읽어야 할 내용을 잘 모릅니다. 가장 좋은 방법은 무엇인지 알고 있습니까?

Answer 1

예일 경우 logstash를 사용하여 쉽게 로그를 추가 할 수 있습니다. 그리고 추가 열 데이터가 인덱스로 수집되도록 처음부터 잠금 시작을 다시 시작하십시오. 현재 설정이 무엇인지 알려주세요.

Answer 2

나는 elasticssearch 클러스터에서 데이터를 덤프하고 적색 변이로로드한다고 알고 있습니다. 사용하여 AWS CLI

복사 S3에서 JSON 파일이 적색 편이하기 : 사용 elasticsearch에서

• 덤프 데이터 : https://github.com/taskrabbit/elasticsearch-dump
• 복사 S3에 JSON 파일이 여기에 내가 걸릴 것 접근이다 https://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-json.html