깊은 학습 및 시계열 : 시변 벡터 길이

Question

이 깊은 학습 환경에서 다양한 길이의 시계열 작업에 대한 개념 질문 : 나는 시간을 포함 불규칙한 간격으로 발생 표준화 된 기능의 관찰이

은 모든 개별 측정에서 그런 다음이 다 변수 시계열 (패널 데이터)을 각 시계열에 대한 단일 연속 특징 벡터로 병합합니다.

xxxx(T=2)xxxx(T=4)xxxx(T=5) 
xxxx(T=1)xxxx(T=2) 
xxxx(T=3) 
xxxx(T=1)xxxx(T=2)xxxx(T=3)xxxx(T=5) 

을 그리고 같은 길이로 0으로 채워 끝이다 : 그럼 지금과 같이 이러한 벡터에 이진 분류 작업에 대한 깊은 신경 네트워크를 구축 할 수 있습니다.

"xxxxT"는 "x"가 비 시각적 피쳐이고 "T"가 시간 기반 피쳐 인 관찰을 나타냅니다. 제 질문은 뉴럴 네트워크가이 시계열의 불규칙한 본질을 독자적으로 차별 할 수있을 것이라고 가정 할 수 있을까요?

아니면 ("0000"이 누락 된 관찰을 채우는 것을 나타내는) 간헐적으로 발생하지 않는 관찰을 채워야합니까?

0000(T=1)xxxx(T=2)0000(T=3)xxxx(T=4)xxxx(T=5) 
xxxx(T=1)xxxx(T=2)0000(T=3)0000(T=4)0000(T=5) 
0000(T=1)0000(T=2)xxxx(T=3)0000(T=4)0000(T=5) 
xxxx(T=1)xxxx(T=2)xxxx(T=3)0000(T=4)xxxx(T=5) 

저는 실제로 이것을 이미 수행했으며 두 접근법의 결과를 조사했습니다. 나는 누군가가 깊은 신경 회로망이 이것을 "해석"하는 방법에 대해 밝힐 수 있는지 알고 싶었다.

Answer 1

반복적 인 네트를 사용하는 경우 시퀀스 내부를 패드하는 것이 좋지 않다고 생각합니다. 가중치가 시간에 따라 재사용되는 경우 패딩이 아닌 "실제"데이터에 "민감합니다".

end-of-sequence 패딩을 사용하면 시퀀스 길이를 "sequence_length"인수가있는 TensorFlow의 tf.nn.dynamic_rnn 메서드와 같이 반복 함수에 전달하여이 "가짜 데이터"를 처리합니다. 이렇게하면 시퀀스의 마지막 "실제"숨겨진 상태가 시간을 통해 복사됩니다.

패딩을 고집하는 경우 시퀀스 끝내기 패딩과 같이 시퀀스 내의 숨겨진 상태를 복사하는 구현이 필요합니다.

오른쪽?