신경망의 역 전파 알고리즘 : XOR 훈련

Question

c=0; 
wih = .1*ones(nh,ni+1); 
who = .1*ones(no,nh+1); 

while(c<3000) 
    c=c+1; 
    for i = 1:length(x(1,:)) 


     for j = 1:nh 
      netj(j) = wih(j,1:end-1)*double(x(:,i))+wih(j,end)*1; 
      outj(j) = 1./(1+exp(-1*netj(j))); 
     end 

% hidden to output layer 

     for k = 1:no 

      netk(k) = who(k,1:end-1)*outj+who(k,end)*1; 
      outk(k) = 1./(1+exp(-1*netk(k))); 
      delk(k) = outk(k)*(1-outk(k))*(t(k,i)-outk(k)); 

     end 

% backpropagation 
     for j = 1:nh 
      s=0; 
      for k = 1:no 
       s = s+who(k,j)*delk(k); 
      end 

      delj(j) = outj(j)*(1-outj(j))*s; 

      s=0; 
     end 


     for k = 1:no 
      for l = 1:nh 
       who(k,l)=who(k,l)+.5*delk(k)*outj(l); 
      end 
      who(k,l+1)=who(k,l+1)+1*delk(k)*1; 
     end 

     for j = 1:nh 
      for ii = 1:ni 
       wih(j,ii)=wih(j,ii)+.5*delj(j)*double(x(ii,i)); 
      end 
      wih(j,ii+1)=wih(j,ii+1)+1*delj(j)*1; 

     end 



    end 

end 

이것은 역 전파 신경망을 구현합니다. x이 입력되면 t이 원하는 출력, ni, nh, no 숫자, 숨겨진 출력 레이어 뉴런. 나는 이것을 AND, OR과 같은 다른 함수들에 대해 테스트 할 것이고, 이것들은 잘 동작한다. 그러나 XOR은 작동하지 않습니다.

교육 x = [0 0 1 1; 0 1 0 1] 교육 t = [0 1 1 0]

who = 가중치 행렬

당신이 도와 줄 수 숨겨진 레이어에 입력에서

wih = 가중치 행렬 출력 층에 숨겨진에서?

Answer 1

XOR과 다른 모든 함수의 차이점은 XOR 함수가 이 아니고이 선형으로 분리 가능하다는 것입니다.

Sigmoidal 단위 (선형 활성화 함수) 대신 선형 단위 (선형 활성화 함수)를 사용하고 있습니다. 또한 숨겨진 레이어가 있는지 확실합니까?

네트워크 토폴로지 (간략하게)와 각 레이어의 단위 유형을 게시하십시오.