을 사용하는 unix/linux의 단일 디렉토리에있는 파일 수의 제한은 unix/linux의 동일한 디렉토리에 많은 파일을 출력하는 것이 좋지 않습니까? 클러스터에서 수천 개의 작업을 실행하고 각각 하나의 디렉토리로 파일을 출력합니다. 여기의 상한은 ~ 50,000 개의 파일입니다. 이것에 비추어 볼 때 입출력 속도가 제한 될 수 있습니까? 그렇다면 중첩 된 디렉토리 구조로 문제가 해결됩니까?파이썬
감사합니다.
대부분의 파일 시스템은 포함 된 파일의 이름을 목록 (또는 다른 선형 시간 액세스 데이터 구조)에 저장하므로 많은 수의 파일을 단일 디렉토리에 저장하면 나열과 같은 간단한 작업이 느려질 수 있습니다. 중첩 구조를 사용하면 파일 구조를 검색하는 데 걸리는 시간을 줄일 수있는 트리 구조 (또는 의미가있는 경우 Trie)를 만들어이 문제를 개선 할 수 있습니다.
나의 제안은 중첩 된 디렉토리 구조 (즉, 분류)를 사용하는 것입니다. 타임 스탬프, 각 응용 프로그램에 대한 특수 접두어 등을 사용하여 이름을 지정할 수 있습니다. 이렇게하면 특정 파일을 검색하고 파일을보다 쉽게 관리해야 할 때 순서를 알 수 있습니다.
어떤 파일 시스템을 사용하고 있습니까? –
가능한 복제본 http://stackoverflow.com/questions/466521/how-many-files-in-a-directory-is-too-many – tzot