TensorFlow 백엔드에서 Keras를 사용할 때 드롭 아웃

Question

나는 dropout의 Keras 구현에 대해 읽었으며 드롭 아웃이라고해도 역 드롭 아웃 버전을 사용하는 것 같습니다. I는 Dropout(0.4) 0.4 그 층의 모든 노드들이 어느 낙하의 40 %의 확률을 의미 지정하면

0.4가 인 것을 의미한다 : 여기

내가 Keras 및 Tensorflow 문서를 읽을 때 이해 한 무엇 하락 확률. 따라서 역 드롭 아웃의 개념에 의해 나머지 뉴런의 출력은 유지 확률이 0.6이므로 1/0.6 배율로 조정됩니다.

단순히 내가 0.4의 값을 지정하면 킵 확률이 직접 의미를 요청 TensorFlow에 한편

(내 해석이 잘못된 경우 지적 바랍니다. 내 모든 의심의 여지가이 해석을 기반으로합니다.)

각 노드는 60 %의 가능성을 갖습니다.

그럼 Keras의 백엔드에서 TensorFlow를 사용할 때 어떻게됩니까? 유지 또는 낙하 확률이 0.4가됩니까? Keras 층에서

Answer 1

Dropout(0.4) (최신 모든 필요한 라이브러리의 버전 파이썬 3.6을 사용하여)

이 신경 세포의 40 %가 이 하락되는 것을 의미합니다 (유지되지 않음).

Keras documentation에서 :

드롭 아웃이 무작위로 overfitting을 방지하는 데 도움이 훈련 시간 동안 각 업데이트에서 0으로 입력 장치의 일부 비율을 설정하는 구성되어 있습니다.

Answer 2

Dropout 레이어의 source code (Line 72)을 보면 대답을 확인할 수 있습니다.

드롭 아웃은 무작위로 overfitting을 방지하는 데 도움이 훈련 시간 동안 입력 장치 각 업데이트에서 0의 일부분 "속도"를 설정하는 구성되어 있습니다.

소스는 Nitish 스리 바스타 등에 의해 작성 (나는 keras가 드롭 아웃을 구현하는 방법을 설명 정확히 가정) 참조 용지 found here을 말한다. al. 좀 더 소스를 읽고 있지만이 K 백엔드입니다 라인 (107)

return K.dropout(inputs, self.rate, noise_shape, seed=self.seed) 

주위 droput의 백엔드 구현을 호출처럼

---

, 그것은 보인다. 여전히 궁금한 점이 있다면 K.dropout이 백엔드에서 어떻게 구현되는지 살펴 보는 것이 좋습니다.