아키텍처

Question

내가 논문을 읽고 있었다 다음과 같이 저자가 자신의 네트워크를 설명했다.

"해당 깊은 네트워크, 하나 숨겨진 레이어와 완벽하게 연결된 네트워크를 양성하는

를 사용하는 네트워크는 아홉을 가지고 숨겨진 레이어는 하나의 시그 모이 드 노드를 포함하고 출력 레이어에는 하나의 내부 제품 이 있습니다. 따라서 네트워크에는 10 개의 변수가 있습니다. "

네트워크는 연속 번호 (y)를 예측하는 데 사용됩니다. 내 문제는, 나는 S 자 결절 노드 이후의 네트워크 구조를 이해하지 못한다. 출력 레이어는 무엇을합니까? 내부 제품은 무엇을 위해 사용됩니까?

Answer 1

일반적으로 뉴런 당 사전 활성화 함수는 내부 곱 (또는 벡터 벡터 곱셈의 내적 곱)과 바이어스를 유도하는 하나의 덧셈의 조합입니다. 단일 뉴런

b 첨가제가 용어 (뉴런의 바이어스)이다

z = b + w1*x1 + x2*x2 + ... + xn*xn 
    = b + w'*x 
h = activation(z) 

로서 설명 될 수 있고, 각 층 h 하나의 출력과 다음 층의 입력에 대응한다. "출력 레이어"의 경우에는 y = h입니다. 계층은 또한 여러 개의 뉴런으로 구성되거나 단일 뉴런만으로 구성 될 수 있습니다.

위의 경우에 바이어스가 사용되지 않는 것처럼 보입니다. 나는 다음과 같이 그것을 이해한다 :

각 입력 뉴런 x1 to x9에 대해, 단일 무게가 사용된다. 동일한 규칙이 적용 출력에 숨겨진 레이어를 연결하기 위해

hidden_out = sigmoid(w1*x1 + w2*x2 + ... + w9*x9) 

: 출력층의 입력 가중하고 각지 합산 아홉 개 입력이 있기 때문에,이 같은 결과 9 개 가중치를 만든다 입력. 하나의 입력이 있으므로, 하나의 중량을 시그 모이 드 함수 0..1의 출력 범위에 입력을 찌그러 트려 것을

output = w10*hidden_out 

그래서 그것을 곱한 명심 "합산"으로 같은 것이다 무게가 필요한 출력 범위로 다시 조절됩니다.