케라 소프트 멀티플렉서 레이어

Question

저는 Keras (및 NN)에 익숙하지 않습니다. 제 질문은 간단 할 수도 있습니다. 그럼에도 불구하고 Keras에 다음 레이어를 구현하는 방법을 알아낼 수는 없습니다.

2D, 0D, 0D (행렬, 스칼라, 스칼라)의 입력이 있어야합니다.

계층은 두 번째 및 세 번째 인수로 정의 된 위치에서 첫 번째 인수의 요소를 반환해야합니다. 따라서 입력이 (m, i, j)이면 m [i, j]를 반환해야합니다. pair (i, j)가 요소들 사이에 닿는 경우 (예 : i = 2.5 및 j = 3.7) 요소는 (i, j)로 정의 된 점을 중심으로 선형 근사값을 반환해야합니다.

이 함수는 m, i 및 j의 요소에 대해 차이가 있지만 (적어도 Keras에서는 충분히 차별 가능함) NN 계층을 정의하는 것이 좋습니다.

Answer 1

우리는 우리가 Lambda 계층에 전달거야, 다음과 같은 기능을 시도 할 수 있습니다 :

from keras.layers import * 
import keras.backend as K 
from keras.models import Model 

import tensorflow as tf 

def getValue(x): 

    #x is a group with 3 tensors here. m, i and j 
    m = x[0] 
    i = x[1] 
    j = x[2] 

    #let's take the i and j as integers around the actual point: 
    #as well as the distances between them and the float indices 
    lowI, distI = getLowIndexAndDistance(i) 
    lowJ, distJ = getLowIndexAndDistance(j) 

    #higher indices 
    highI = lowI + 1 
    highJ = lowJ + 1 
     #in the special case when these high values are exatly equal to the 
     #unrounded ones, the distance below will be 0 and this index will be discarded 

    #special case when i or j is exactly the maximum index 
    mShape = K.shape(m) 
    highI = highI - K.cast(K.equal(highI,mShape[1]),'int32') 
    highJ = highJ - K.cast(K.equal(highJ,mShape[2]),'int32') 


    #interpolations 
    valILeft = getInterpolated(getValueFromM(m,lowI,lowJ), 
           getValueFromM(m,highI,lowJ), 
           distI) 
    valIRight = getInterpolated(getValueFromM(m,lowI,highJ), 
           getValueFromM(m,highI,highJ), 
           distI) 

    return getInterpolated(valILeft,valIRight,distJ) 


#function to get the index rounded down 
    #unfortunately I couldn't find K.floor() or a similar function 
def getLowIndexAndDistance(i): 

    #getting the closest round number 
    roundI = K.round(i) 

    #comparisons to check wheter the rounded index is greater than i 
    isGreater = K.cast(K.greater(roundI,i),K.floatx()) 
     #1 if true, 0 if false 

    #if greater, let's take one number below: 
    lowI = roundI - isGreater 

    #returns the integer lowI and the distance between i and lowI 
    return K.cast(lowI,'int32'), i - lowI 




#function to get interpolated values 
def getInterpolated(val1, val2, distanceFromLowI): 

    valRange = val2 - val1 
    #span = 1 

    return val1 + (valRange * distanceFromLowI) 


def getEntireIndexMatrix(i,j): 

    batchIndex = K.ones_like(i) 
    batchIndex = K.cumsum(batchIndex) - 1 #equivalent to range(batch) 

    #warning, i and j must be (?,1), if they're reduced, the results will be weird. 
    return K.stack([batchIndex,i,j],axis=-1) 

     #this is a matrix of indices from which to get values in m 
     #the first element in the last axis is the batch index 
     #the second element is I 
     #the third is J 


def getValueFromM(m, i, j): 

    indexMatrix = getEntireIndexMatrix(i,j) 

    #tensorflow is an easy solution kere. Keras doesn't have this available, 
    #but there may be a workaround using K.gather 3 times, one for each dimension 
    return tf.gather_nd(m, indexMatrix) 

시험이 아주 기본적인 모델 :

m = Input((5,5)) 
i = Input((1,)) 
j = Input((1,)) 

out = Lambda(getValue, output_shape=(1,))([m,i,j]) 

model = Model([m,i,j],out) 

mVals = np.asarray(range(75)).reshape((3,5,5)) 
#iVals = np.asarray([[4],[2.3],[4]]) #for special cases 
#jVals = np.asarray([[4],[4],[1.7]]) #for special cases 
iVals = np.random.uniform(0,4,(3,1)) #for all cases 
jVals = np.random.uniform(0,4,(3,1)) #for all cases 

print(mVals) 
print(iVals) 
print(jVals) 

print(model.predict([mVals,iVals,jVals]))