로컬 데이터가있는 EC2의 교육 모델

Question

amazon의 aws EC2 인스턴스로 이미지 분류기 (cnn)를 교육하고 있습니다. 데이터 세트가 커짐에 따라 인스턴스에 이르기까지 약 200,000 개의 이미지와 scp 데이터 세트가 비효율적으로 보입니다. 로컬 컴퓨터의 데이터 세트 디렉토리를 가리키는 동안 EC2 인스턴스에서 모델을 학습 할 수있는 방법이 있습니까? 을 실행하는 동안 로컬로 저장된 데이터 세트를 가리 키도록 image_dir 매개 변수를 조정할 수있는 방법이 있나요

python retrain.py \ 
    --image_dir /Users/vivek/Desktop/Data2Compress/\ 
    --learning_rate=0.001 \ 
    --testing_percentage=20 \ 
    --validation_percentage=20 \ 
    --train_batch_size=32 \ 
    --validation_batch_size=-1 \ 
    --flip_left_right True \ 
    --random_scale=30 \ 
    --random_brightness=30 \ 
    --eval_step_interval=100 \ 
    --how_many_training_steps= 100000 \ 
    --architecture mobilenet_1.0_224 

:

그래서 예를 들어 내가 로컬 내 모델을 훈련하고 있다면 훈련을 시작하려면이 같은 것을 사용합니다 EC2 교육?

Answer 1

로컬 디렉토리를 가리키는 동안 모델을 훈련 할 수있는 방법이 있더라도 결국 데이터를 전송해야하는 상황에 처하게됩니다. S3 버킷에 데이터 세트를 업로드 한 다음 양동이에서 EC2 인스턴스로 복사하는 것을 고려 했습니까?

아직 초기 업로드가 필요하지만 새 교육 세션을 위해 새 EC2 인스턴스를 시작할 때마다 다시 업로드 할 필요가 없으며 양동이에서 인스턴스로 복사하는 것이 훨씬 빠릅니다 로컬 시스템에서 인스턴스로 복사.