tf.sign은 역 전파와 어떻게 작동합니까?

Question

저는 TensorFlow로 시작하고 있으며 바이너리 네트워크를 만들려고합니다. 좀 더 구체적으로, 크기 n의 이진 벡터로 이미지를 인코딩하는 해싱 네트워크를 찾고 있습니다. 그래서 고전적인 네트워크를 가지고 있고 softmax 전에 마지막 레이어를 이진화합니다.

TensorFlow는이를 수행 할 수있는 기능을 제공합니다.하지만 연속 전파가 아니기 때문에 역 전파가 실제로 어떻게 작동하는지 파악할 수 없습니다.

의견이 있으십니까? (그것을 정의하는 좋은 방법이 없다 아마 때문이다.)

Answer 1

은 불행하게도 tf.sign()의 기울기는 항상 0으로 정의된다

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/ops/math_grad.py#L542

@ops.RegisterGradient("Sign") 
def _SignGrad(op, _): 
    """Returns 0.""" 
    x = op.inputs[0] 
    return array_ops.zeros(array_ops.shape(x), dtype=x.dtype)