Transformer 1. 전통적인 RNN기반 인코더-디코더 모델

Seq2Seq Model RNN 기반 인코더-디코더 모델 전통적인 RNN기반 인코더-디코더 모델은 위와 같다. 순차적으로 들어오는 입력들에 대해서 전부 Hidden state를 계산하여 다음 time-step으로 넘김 인코더에서는 입력된 문장들의 정보를 압축하여 Context vector 얻음 디코더에서는 Context vector로 부터 번역된 문장을 도출 특징은 다음과 같다. Context vector가 고정된 크기다. 따라서 긴 입력문장의 경우 모든정보 압축이 힘들다. 해당 문제를 보완하기 위해 등장한 매커니즘이 "Attention" (나중에 나옴) 전체 구조 및 과정은 위와 같다. 입력 문장 토큰화 수행 토큰들은 Word embedding 통과 각 RNN셀의 입력으로 들어감 인코더 마지막 셀의 H..

2022.03.29