pybrain LSTM 레이어 활성화가 0입니다

Question

나는 시퀀스 데이터의 회귀를 수행하는 LSTM 네트워크를 구축했습니다. 숨겨진 레이어 (LSTM 레이어)의 활성화를 시도하면 0을 반환합니다. 네트워크에는 하나의 숨겨진 레이어, 하나의 입력 및 하나의 출력 레이어 만 있습니다.

다음 스 니펫으로 숨겨진 레이어 값을 가져 오려고합니다.

print net.activate(data) 
print net['in'].outputbuffer[net['in'].offset] 
print net['hidden0'].outputbuffer[net['hidden0'].offset] 

왜 그런가? 아래 코드는 더 완벽한 코드입니다.

RopewayIn = RopewayOverallData[:-1, :] 
RopewayOut = RopewayOverallData[1:, :] 
ds.newSequence() 
for i in range(noDataFrames): 
    ds.appendLinked([RopewayIn[i,0],RopewayIn[i,1], RopewayIn[i,2], RopewayIn[i,3], RopewayIn[i,4], RopewayIn[i,5], RopewayIn[i,6], RopewayIn[i,7], RopewayIn[i,8], RopewayIn[i,9]], 
        [RopewayOut[i,0],RopewayOut[i,1], RopewayOut[i,2], RopewayOut[i,3], RopewayOut[i,4], RopewayOut[i,5], RopewayOut[i,6], RopewayOut[i,7], RopewayOut[i,8], RopewayOut[i,9]]) 

net = buildNetwork(10,20,10, hiddenclass=LSTMLayer,outclass=LinearLayer, bias=True, recurrent=True) 
trainer = RPropMinusTrainer(net, dataset=ds, verbose=True, weightdecay=0.01) 

for i in range(10001): 
    trainer.trainEpochs(2) 

print net.activate(RopewayOverallData[0,4]) 
print net['in'].outputbuffer[net['in'].offset] 
print net['hidden0'].outputbuffer[net['hidden0'].offset 

Answer 1

이것은 실제로 대답이 아니지만 주석에 맞지 않습니다. 나는이 실행 시도, 코드의 혼합과 이전 질문 (activation values for all nodes in a PyBrain network) :

from pybrain.tools.shortcuts import buildNetwork 
from pybrain.datasets import SupervisedDataSet 
from pybrain.supervised.trainers import BackpropTrainer 
from pybrain.structure.modules import LSTMLayer,LinearLayer 

net = buildNetwork(3,3,3, hiddenclass=LSTMLayer,outclass=LinearLayer, bias=True, recurrent=True) 
dataSet = SupervisedDataSet(3, 3) 
dataSet.addSample((0, 0, 0), (0, 0, 0)) 
dataSet.addSample((1, 1, 1), (0, 0, 0)) 
dataSet.addSample((1, 0, 0), (1, 0, 0)) 
dataSet.addSample((0, 1, 0), (0, 1, 0)) 
dataSet.addSample((0, 0, 1), (0, 0, 1)) 

trainer = BackpropTrainer(net, dataSet) 
trained = False 
acceptableError = 0.001 

howmanytries = 0 
# train until acceptable error reached 
while (trained == False) and (howmanytries < 1000): 
    error = trainer.train() 
    if error < acceptableError : 
     trained = True 
    else: 
     howmanytries += 1 

result = net.activate([0.5, 0.4, 0.7]) 
net['in'].outputbuffer[net['in'].offset] 
net['hidden0'].outputbuffer[net['hidden0'].offset] 
print result 

... 그리고 그것은 잘, 비 - 제로 결과를 인쇄. 이 작업부터 시작하여 코드별로 조각으로 변경하고 작동이 중지 된 부분을 확인하십시오.