0
저희 회사는 고객의 데이터를 처리합니다. 우리 고객은 우리가 유지 관리하는 SFTP 서버로 데이터를 전송하여 데이터를 제출합니다. 우리의 코드 (대부분 Java, Scala, Node.js와 약간의 Python/shell을 가짐)는이 서버를 읽기 전용 모드로 사용하고 이러한 파일을 다운로드 한 후에 데이터 처리를 수행합니다.내부 파일 서버 디자인 패턴?
Java 라이브러리가 sftp를 수행하는 데별로 좋지 않을뿐만 아니라 일부 개발자가 사용하는 Windows에서 노드 1이 작동하지 않기 때문에 우리는 sftp에서 파일을 동기화하기위한 일부 해시 셸 스크립트가 있기 때문에 우리는이 시스템에 좌절감을 느낍니다.
이 문제를 해결하기위한 좋은 아키텍처 패턴은 무엇입니까? 좋은 OS 불가지론 라이브러리를 통해 쉽게 액세스 할 수 있고 파일 뷰어를 탐색하기위한 훌륭한 도구가있는 안전한 내부 파일 서버가 필요합니까?
고객이 SFTP를 사용하는 것이 좋습니다 ...하지만 왜해야합니까? 우리는 몇 가지 큰 파일에 대해 이야기하고 있습니까? 수백만 개의 작은 파일? 동일한 랙에 있거나 인터넷을 통해 분리 된 서버입니까? – Brad
약 10^3 개 파일이 추가되어 매일 약 10^3 개 파일이 추가됩니다. 각 파일은 꽤 작습니다 - 몇 킬로바이트의 csv입니다. 그러나이 볼륨은 커질 수 있습니다. – pathikrit