many-to-many 시계열 모델의 마지막 Dense layer 뉴런이 왜 1개죠?

Question

안녕하세요. 이 time series 문제가 many-to-many라고 하셨는데, 그래서 window dataset에서 x는 [1,2,3,4,5], y 는 [2,3,4,5,6] 이렇게 나누었는데, 마지막 Dense layer output neuron은 왜 5개가 아니라 1개인지 궁금해서 질문합니다. 혹시 마지막 LSTM layer가 return_sequences=True라서 Dense layer의 neuron 한개에 integer value가 (ex. [6]) 아니라 sequence가 (ex. [2,3,4,5,6]) 있는 것인가요? 감사합니다!

런어데이 · Answer

네 답변 드리겠습니다. 우선 마지만 출력 층에서는 ex. [6]) 아니라 sequence가 (ex. [2,3,4,5,6]) 가 맞습니다. Sequence 형태로 출력 됩니다. 과거에는 TimeDistributed layer를 LSTM layer 다음에 삽입해 줘야 했지만, 지금은 Dense만 넣어주면 Dense 레이어가 각각 Cell에 따라 붙는 다고 보시면 됩니다. 즉 [2, 3, 4, 5, 6] 에 있을 때 2, 3, 4, 5, 6 각각에 Dense 가 적용된다고 생각하시면 쉽습니다. LSTM layer에 관련된 다양한 실험을 블로그에 게재해 놓았습니다. 한 번 살펴보시는 것도 추천 드립니다. 링크:  https://teddylee777.github.io/tensorflow/lstm-layer 감사합니다.