tensorflow의 seq2seq.embedding_attention_seq2seq의 "attention heads"

Question

나는 tensorflow에 익숙하지 않으며 튜토리얼에 따라 "seq2seq"모델을 구현하려고합니다. func "embedding_attention_seq2seq"의 인수 "num_heads"(기본값 = 1)에 대해 확실하지 않습니다. 그것이 무엇을 나타내는가? 나는 관련 논문에서 그것을 찾지 못했습니다.

Answer 1

this one과 같은 디코더의 소스 코드를 읽었 으면주의 숫자를 나타냅니다.

때로는 여기에 표시된 것처럼 몇 가지주의 사항 (계층 적주의)이 있습니다 (this paper).
TL; DR; 첫 번째 단어는 단어 용이고 두 번째 단어는 문장 용입니다.
이 그래프를 확인하십시오 :