JSON 입력 성능 문제

Question

mongodb 소스에서 ketle을 통해 mysql 테이블을로드 중입니다. Mongodb 테이블에는 4 백만 개가 넘는 레코드가 있으며 주전자 작업을 실행하면 처음로드를 완료하는 데 17 시간이 걸립니다. 증분로드의 경우에도 1 시간 이상 걸립니다. 커밋 크기를 늘리고 더 많은 메모리를 할당하려고 시도했지만 여전히 성능이 향상되지 않습니다. 나는 JSON 입력 단계가 데이터를 구문 분석하는 데 매우 오랜 시간이 걸리므로 매우 느린 것으로 생각합니다. 는 내 변화의 단계가

1. MongoDB를 입력 단계 필드 값이 널이면
2. 잘라
3. 문자열
4. JSON 입력
5. CONCAT 필드
6. 선택
7. 테이블 출력 값 .

postgre에서 추출한 것과 같은 400 만 기록이 mongodb보다 빠릅니다. 성능을 향상시킬 수있는 방법이 있습니까? 도와주세요.

감사 단계의 Deepthi

Answer 1

실행 여러 사본. 당신이 mongo를 입력 한 다음 json 결과를 파싱하는 json 입력 단계가있는 것 같습니다. 그래서 json 입력 단계의 4 또는 8 개의 복사본을 사용하십시오 (또는 CPU에 따라 다름). 그러면 속도가 빨라질 것입니다.

또는 정말로 전체 json을 구문 분석해야 할 수도 있습니다. 어쩌면 정규식 등으로 데이터를 추출 할 수 있습니다.