스프링 배치 및 스프링 통합을 사용하여 원격 파티셔닝 작업을 구현합니다. 이 작업에서 큰 파일을 얻으려면 unix 명령을 사용하여 해당 파일을 분할하고 해당 파일을 사용하여 배치를 실행하고 있습니다. 거기에 파일을 분할하지 않고 큰 파일에 대한 사용자 지정 파티션 논리를 쓸 수있는 방법이 있습니다. 도와주세요 ..대용량 입력 파일을위한 스프링 배치 원격 파티셔닝
미리 감사드립니다.
-MK
멀티 스레드 파일 읽기를 지원하기 위해 스프링 배치 (BATCH-1613 및 관련 pull request)에 대한 락스 문제가있다. 그러나, 우리가 발견 한 문제점은 다중 스레드를 갖는 이점이 매우 환경 적이라는 것입니다. 일반적인 환경에서는 하나의 파일로 디스크에서 데이터를 빠르게 가져 와서 모든 파티션을 바쁘게 유지할 수 없습니다. 이전에 링크 된 끌어 오기 요청은 단일 스레드를 사용하여 단일 파일을 읽는 대신 테스트를 수행 할 때 아무런 이점도 얻지 못했습니다. 왜냐하면 작성자가 자신의 환경에서 속도가 빨라진 통계를 표시 할 수 있었지만 병합되지 않은 이유입니다.
링크 된 코드가 도움이된다면 언제든지 사용하십시오. 그러나 프레임 워크 자체에 병합하기 전에 더 많은 환경에서 이점을 얻을 수 있는지 (또는 적어도 문서화 할 수 있도록 이점을 얻으려는 요구 사항을보다 구체적으로 이해해야 함) 확신하고 싶습니다.
링크 된 코드 또는 다른 코드를 기반으로 작동하는 무언가를 해결하면 우리는 풀 요청을 좋아합니다!
감사합니다. Michael, 나는 이러한 변화를 시도하고 결과를 알려 드리겠습니다. – Maddy