5
피드 포워드 신경 회로망을 구현하려고했습니다.Keras 신경망은 모든 입력에 대해 동일한 결과를 출력합니다.
구조 : 입력 레이어 : 8 뉴런, 숨겨진 레이어 : 8 뉴런 및 출력 레이어 : 8 뉴런.
입력 데이터는 8 비트 (입력 레이어의 각 뉴런에 대해 1 비트)의 벡터입니다. 신경망의 출력도 8 비트의 벡터입니다. 따라서 데이터 세트에는 총 256 개의 예제가 있습니다.
예 : 주어진 경우, X = 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0]
출력 Y 있어야 = 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 이것은 내가 출력에서 무엇을 얻을
from keras.models import Sequential
from keras.layers import Dense
import numpy as np
import random
from math import ceil
#Dimension of layers
dim = 8
#Generate dataset
X = []
for i in range(0,2**dim):
n = [float(x) for x in bin(i)[2:]]
X.append([0.]*(dim-len(n))+n)
y = X[:]
random.shuffle(y)
X = np.array(X)
y = np.array(y)
# create model
model = Sequential()
model.add(Dense(dim, input_dim=dim, init='normal', activation='sigmoid'))
model.add(Dense(dim, init='normal', activation='sigmoid'))
model.add(Dense(dim, init='normal', activation='sigmoid'))
# Compile model
model.compile(loss='mse', optimizer='SGD', metrics=['accuracy'])
# Fit the model
model.fit(X, y, nb_epoch=1000, batch_size=50, verbose=0)
# evaluate the model
scores = model.evaluate(X, y)
print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
output = model.predict(X)
#Make the output binary
for i in range(0, output[:,0].size):
for j in range(0, output[0].size):
if output[i][j] > 0.5 or output[i][j] == 0.5:
output[i][j] = 1
else:
output[i][j] = 0
print(output)
: 0.0, 1.0]
이것은 구현
acc: 50.39%
[[ 1. 0. 0. ..., 0. 1. 1.]
[ 1. 0. 0. ..., 0. 1. 1.]
[ 1. 0. 0. ..., 0. 1. 1.]
...,
[ 1. 0. 0. ..., 0. 1. 1.]
[ 1. 0. 0. ..., 0. 1. 1.]
[ 1. 0. 0. ..., 0. 1. 1.]]
그것은 것 같다 알 l 출력은 동일한 값을가집니다. 그래서 구성에 어떤 문제가 있는지 알지 못합니다. 이 Cannot train a neural network in keras - stackoverflow은 출력 레이어에서 활성화 함수를 제거하려고했지만이 값을 사용하여 모든 출력 벡터를 얻습니다.
[0. 1. 1. ... 1. 1. 1. ]
어떻게 작동 시키는가에 대한 통찰력이 있으십니까?
회신을 몇 번 반복하셨습니까?다른 옵티 마이저 또는 정규화/무작위 알고리즘을 사용하면 도움이 될 수 있습니다. 네트워크가 로컬 미니 사이트에 머물러있는 것 같습니다. –
나는 15 번처럼 그것을 재방송하려고했고 같은 결과를 얻었다. 나는 "Adam"을 사용해 보았고 "relu"활성화를 시도했지만 약간의 성능 저하가 있었지만 이제는 다른 출력을 얻지 만 여전히 정확도는 여전히 낮습니다 (256 개의 올바른 출력 중 4 개). –
예를 들어 사용해 보셨나요? 탈락? 또는 일괄 정규화? –