작은 파일의 높은 동시 액세스를위한 분산 파일 시스템

Question

MB 크기 범위 인 1,000,000 개 파일의 높은 동시 액세스 (로컬 1 gbs 네트워크에서 10000 개의 원격 스레드라고 함)가 있지만 DSF 높은 동시 스트림을 사용자에게 제공해야합니까?

Answer 1

Lustre 또는 GPFS와 같은 일반적인 HPC 파일 시스템은 설명하는 시나리오를 제대로 지원하지 않지만 대용량 파일 액세스시 높은 대역폭으로 최적화됩니다. HPC 컨텍스트에서는 파일 시스템과 직접 인터페이스하지 않고 MPI-IO와 같은 IO 미들웨어 또는 HDF5와 같은 상위 수준 IO 라이브러리 사용을 고려해야합니다. 이러한 라이브러리는 응용 프로그램의 특정 파일 시스템에 대한 액세스 최적화의 복잡성을 숨길 수 있습니다. 적합한 응용 프로그램 시나리오는 응용 프로그램 시나리오의 구조에 따라 다릅니다.

반면에 고도로 동시 적이며 구조화되지 않은 소규모 액세스의 경우 클라우드 관련 기술을 검토하는 것이 좋습니다. Google 파일 시스템, 분산 키 값 저장소, 카산드라 (Cassandra) 등이 있습니다.

일반적인 "파일"추상화 및 액세스 접근법 (POSIX 인터페이스)은 고도의 동시 액세스를 위해 설계되지 않았으므로 인터페이스와 일치하고 동시에 높은 동시성을 제공하기 어렵습니다.

적합한 기술에 대한보다 구체적인 힌트를 원할 경우 유스 케이스에 대한 구체적인 정보를 제공하십시오.