내 문제 문. 1 천만 데이터가있는 csv 파일을 읽고이를 db에 저장하십시오. 가능한 한 최소 시간으로
스프링 배치 다중 파일에 대한 단일 파일 다중 스레드 처리
나는 자바의 Simple 멀티 스레드 실행기를 사용하여 구현했으며 로직은 스프링 배치의 청크와 거의 비슷하다. csv 파일에서 미리 구성된 데이터 수를 읽은 다음 스레드를 만들고 데이터의 유효성을 검사 한 스레드에 데이터를 전달한 다음 다중 스레드에서 실행되는 파일에 기록합니다. 일단 모든 작업이 완료되면 각 파일을로드하기 위해 SQL 로더를 호출합니다. 지금은 (내가 배치 봄하는 안돼서) 여기
내 질문 작업에서는
1.있는 스프링 배치에이 코드를 이동하려는 내가 읽은, 그것은 (스레드 항목 작가 다에 ItemReader를 만드는 것이 가능하다 스레드가 데이터 쓰기 전에 데이터를 처리 할 파일을 새 스레드로 만듭니다.) 아니라면 두 단계를 만들 필요가 첫 번째 단계는 단일 스레드 및 다중 스레드 개별 파일 쓰기 쓰레드 파일을 읽을 수 있지만 이전 작업에서 다른 작업에 데이터 목록을 전달하는 방법.
2. 단일 스레드에 오류가있는 경우 전체 일괄 처리 작업을 어떻게 중지 할 수 있습니까?
3. 일정한 간격 후에 실패한 경우 배치 작업을 재 시도하는 방법. 실패한 경우 재시도 옵션이 있음을 알고 있지만 실패한 경우 특정 간격 후에 작업을 재 시도하는 옵션을 찾을 수 없습니다. 여기서는 스케쥴러에 대해 언급하지 않습니다. 배치 작업이 이미 스케쥴러에서 실행 되었기 때문입니다.하지만 실패한 경우 3 분 후에 재실행해야합니다.
안녕하세요, 저는 몇 가지 문제가 있고 XML에서 수백만 사용자를 처리하고 DB에 덤프하고 다중 스레딩/파티셔닝을 사용하고 싶습니다. 예를 들어 구현 예제를 제공하여 RI로 참조 할 수 있습니다 – Ketan