8.1. 어텐션의 구조✔️ seq2seq의 문제점seq2seq에서 Encoder의 출력은 '고정 길이의 벡터'였다.고정길이벡터는 입력 문장의 길이에 관계없이(아무리 길어도) 항상 같은 길이의 벡터로 변환한다는 뜻이다.이렇게 되면 필요한 정보가 벡터에 모두 담기지 못하게 된다. ✔️ Encoder 개선Encoder의 출력 길이는 입력 문장의 길이에 따라 바꿔주는게 좋다.이를 위해 그림 8-2처럼 시각별 LSTM 계층의 은닉 상태 벡터를 모두 이용한다.각 시각별 LSTM 계층의 은닉 상태이기 때문에 hs 행렬은 각 단어에 해당하는 벡터들의 집합이라고 볼 수 있다. ✔️ Decoder 개선(1)Decoder의 LSTM 계층의 '첫' 은닉 상태는 Encoder LSTM 계층의 '마지막' 은닉상태이다.즉 그림 8..
