열차 디렉토리 또는 테스트 디렉토리로 파일을 이동하는 Python 스크립트

Question

저는 열차 디렉토리 또는 테스트 디렉토리에 내 데이터를 다이빙 할 수있는 파이썬 스크립트를 만드는 순간입니다. 스크립트에 기차/테스트 간의 비율이 무엇인지 말해주는 비율을 제공합니다.이 비율에 따라 파일을 무작위로 이동하거나 테스트해야합니다.

ex. 비율이 0.5이면 내 데이터 집합의 절반이 기차에 있고 나머지 절반은 테스트에 사용됩니다.

기타 ex. 비율이 0.25이면 75 % 데이터 집합이 열차에 있고 나머지는 테스트에 있습니다.

하지만 부서는 매번 잘못된 것처럼 보입니다. 나는 84 개의 파일/dir을 분리하려고 노력하고 있으며, 황금 42/42 분리를 맞출 수없는 것처럼 보입니다. 나는 무엇을 다르게 할 수 있다고 제안합니까? 여기

코드입니다 :

import sys 
import os 
import shutil 
import numpy 
import random 


src = sys.argv[1] 
destination_data = sys.argv[2] 

src_abs = os.path.abspath(src) 
destination_data_abs = os.path.abspath(destination_data) 

src_files = os.listdir(src_abs) 


def copytree(src, dst, symlinks=False, ignore=None, split=0.5): 
    for item in os.listdir(src): 
     s = os.path.join(src, item) 
     d = os.path.join(dst, item) 
     d_test = os.path.join(dst, 'test', item) 
     d_train = os.path.join(dst, 'train', item) 

     print d_test 
     print d_train 
     minmax=0.0, 1.0 
     rand = random.uniform(*minmax) 
     print rand 
     if rand > split: 
      # Inserted into train 
      if os.path.isdir(s): 
       shutil.copytree(s, d_train, symlinks, ignore) 
       print "Copytree used! - TRAIN" 
      else: 
       shutil.copy2(s, d_train) 
       print "Copy 2 used! - TRAIN" 
     else: 
      # Inserted into test 
      if os.path.isdir(s): 
       shutil.copytree(s, d_test, symlinks, ignore) 
       print "Copytree used! - TEST" 
      else: 
       shutil.copy2(s, d_test) 
       print "Copy 2 used! - TEST" 

copytree(src_abs,destination_data_abs,True) 

이 중요한 경우 코드가 ... 유닉스 시스템에서 실행되고?

Answer 1

셔플 그 다음 나누기 비율에 대한 파일 목록을 취할 수 있습니다.

import os 
import numpy 

src_files = os.listdir(".") 
n_files = len(src_files) 

split_ratio = 0.5 
split_index = int(n_files * split_ratio) 

numpy.random.shuffle(src_files) 

print src_files[0:split_index] 
print src_files[split_index:] 

Flipping a coin 84 times will result in a "perfect" 42 heads/42 tails with a probability of 0.0868.