TensorFlow CNN 튜토리얼 : 로컬 레이어에 연결하기 위해 상단 레이어를 편집하는 방법은 무엇입니까?

Question

기계 학습 및 파이썬에 대한 배경 지식이 있지만 TensorFlow를 배우는 중입니다. 나는 tutorial on deep convolutional neural nets을 통해 이미지 분류에 사용하는 방법을 스스로 가르쳐야 할 것입니다. 그 길을 따라 가면서 나는 문제를 풀고있다.

연습 : 추론()의 모델 아키텍처는 cuda-convnet에 지정된 CIFAR-10 모델과 약간 다릅니다. 특히, Alex의 원래 모델의 최상위 레이어는 로컬로 연결되어 있으며 완전히 연결되어 있지 않습니다. 아키텍처를 편집하여 최상위 계층에 로컬로 연결된 아키텍처를 정확하게 재현 해보십시오.

연습 문제는 cifar10.py model의 inference() 함수를 참조하십시오. 두 번째 레이어부터 마지막 ​​레이어 (local4라고 함)는 shape = [384, 192]이고, 최상위 레이어는 shape = [192, NUM_CLASSES]입니다. 여기서 NUM_CLASSES = 10입니다. 나는 우리가 편집하도록 요청 코드가 상위 레이어를 정의하는 코드 어딘가에 생각 :

with tf.variable_scope('softmax_linear') as scope: 
    weights = _variable_with_weight_decay('weights', [192, NUM_CLASSES], 
             stddev=1/192.0, wd=0.0) 
    biases = _variable_on_cpu('biases', [NUM_CLASSES], 
          tf.constant_initializer(0.0)) 
    softmax_linear = tf.add(tf.matmul(local4, weights), biases,name=scope.name 
    _activation_summary(softmax_linear) 

하지만 층 사이 연결의 가능성을 결정하는 코드가 표시되지 않기 때문에 나도 몰라 모델을 완전히 연결된 상태에서 로컬로 연결된 상태로 바꿀 수있는 방법. 누군가 이것을하는 방법을 알고 있습니까?

Answer 1

저는이 연습에도 착수했습니다. 솔루션을 제공하는 것보다 내 접근 방법을 올바르게 설명하려고 노력할 것입니다. 완벽하게 연결된 레이어 (https://www.tensorflow.org/get_started/mnist/beginners)의 수학을 되돌아 볼 가치가 있습니다.

그래서 완전히 접속 층 선형 대수이다

Y는 = W가 * X + B X가 N 차원의 입력 벡터가

가 B가 n은 바이어스의 차원 벡터이고, W은 nbyn 가중치 행렬이다.Y의 I 번째 원소 W 승산 요소 와이즈 X와의 I 번째 행의 합이다. 만 Y 원한다면

그래서 ... [I]가 X [I-1], X [I] 및 X 접속 [난 + 1] 간단히 설정할 이격 (I-1) 번째 행 제로 W 의 I 번째 행의 모든 ​​값, I 번째 해당 행의 (I + 1) 번째 열. 따라서 로컬로 연결된 레이어를 만들려면 W을 밴드 매트릭스 (https://en.wikipedia.org/wiki/Band_matrix)로 지정하면됩니다. 여기서 밴드의 크기는 원하는 로컬 연결의 크기와 같습니다. Tensorflow에는 행렬을 줄무늬로 설정하는 기능이 있습니다 (tf.batch_matrix_band_part(input, num_lower, num_upper, name=None)).

이것은 운동에 대한 가장 단순한 수학적 해결책 인 것처럼 보입니다.

Answer 2

나는 100 % 아니지만 나는 당신의 질문에 답하려고 노력할 것이다.

cuda-convnet에서 보면, TensorFlow 및 cuda-convnet 구현은 두 번째 풀링 계층 다음에 달라지기 시작합니다.

TensorFlow 구현은 완전히 연결된 두 개의 레이어와 softmax 분류기를 구현합니다.

cuda-convnet은 로컬로 연결된 두 개의 레이어 (하나의 완전 연결된 레이어와 softmax 분류기)를 구현합니다.

포함 된 코드 스 니펫은 softmax 분류자를 참조하며 실제로 두 구현간에 공유됩니다. TensorFlow를 사용하여 cuda-convnet 구현을 재현하려면 기존에 완전히 연결된 레이어를 로컬로 연결된 레이어 2 개와 완전히 연결된 레이어로 대체해야합니다.

Tensor는 SDK의 일부로 로컬로 연결된 레이어가 없기 때문에 기존 도구를 사용하여 구현해야합니다. 다음은 로컬로 연결된 첫 번째 레이어를 구현하려는 시도입니다.

with tf.variable_scope('local3') as scope: 
    shape = pool2.get_shape() 
    h = shape[1].value 
    w = shape[2].value 

    sz_local = 3 # kernel size 
    sz_patch = (sz_local**2)*shape[3].value 
    n_channels = 64 

    # Extract 3x3 tensor patches 
    patches = tf.extract_image_patches(pool2, [1,sz_local,sz_local,1], [1,1,1,1], [1,1,1,1], 'SAME') 
    weights = _variable_with_weight_decay('weights', shape=[1,h,w,sz_patch, n_channels], stddev=5e-2, wd=0.0) 
    biases = _variable_on_cpu('biases', [h,w,n_channels], tf.constant_initializer(0.1)) 

    # "Filter" each patch with its own kernel 
    mul = tf.multiply(tf.expand_dims(patches, axis=-1), weights) 
    ssum = tf.reduce_sum(mul, axis=3) 
    pre_activation = tf.add(ssum, biases) 
    local3 = tf.nn.relu(pre_activation, name=scope.name)