여러 개의 하위 디렉토리가있는 큰 디렉토리를 만들어야합니다.

Question

약 30,000 개의 하위 디렉토리가있는 디렉토리에 데이터 세트가 있습니다. 각 디렉토리에는 텍스트 파일과 다른 하위 디렉토리가 있습니다. 이 하위 디렉토리에는 몇 개의 텍스트 파일 (텍스트 파일 0 개에서 수백 개까지)이 포함되어 있습니다. 많은 동료들이이 데이터 세트를 사용하지만 데이터 세트의 크기가 아니라 실험실의 컴퓨터/하드 디스크 중 하나에서 다른 세트로 데이터 세트를 전송하는 데 6 시간 이상이 걸리지 만 성가신 형식이 저장됩니다. 컴퓨터간에 신속하게 전송할 수 있도록 이러한 데이터를 저장할 일부 보관 파일 (예 : .tar.gz)을 만들고 싶습니다. 나는 이전에 이런 식으로 일한 사람이 있는지를 알고 싶었고 그것을 할 수있는 가장 빠른, 최선의 방법을 말해 줄 수 있었습니까? 나는 쉘 스크립트가 아카이브를 직접 만드는 것보다 빠르다고 생각한다.

Answer 1

제안 사항 : 디렉토리를 NFS 마운트하십시오. 그런 다음 Windows 상자 또는 유닉스 상자에서 디렉토리에 액세스 할 수 있습니다.

댓글 : 파일 시스템의 inode에 관한 나쁜 소식과 같은 디렉토리 구조는 검색 시간도 증가시킵니다.

답변 : 이것은 어떤 POSIX 호환 유닉스 박스에서 작동하고, 단지 하나의 기본 디렉토리가 있다고 가정 것이다 repository--

cd /path/to/archive; tar cvf mycharhive.tar ./archive_dir; gzip myarchive.tar 

이것은 상대 경로 tar 아카이브 생성 - 당신이 그것을 풀 수 의미를 루트가 아닌 하위 디렉토리.