자연어처리에 대한 간략한 소개 자연어처리(NLP) NLU(Understanding) : 사람이 일상적으로 사용하는 자연어를 컴퓨터가 이해하는 값으로 변경 NLG(Generation) : 컴퓨터가 이해하는 값을 사람이 이해하는 값으로 변경 자연어처리의 어려움 Ambiguity 모호성/중의성 존재 - 최대한 짧은 문장내에 많은 정보를 담고자하기에, 정보량이 낮은 내용은 생략가능 - 사람은 모호한 부분을 쉽게 채울수 있지만, 컴퓨터는 힘듦 Paraphrase (다른말로 바꾸어 표현가능) - 같은 의미를 지니는 말인데 표현할수 있는 방법이 많음 한국어 처리의 어려움 한국어는 교착어다. (어간에 접사가 붙어 단어를 이루고 의미와 문법적 기능이 정해짐) - 잡 + 히 + 다 - 잡 + 히 + 었 + 겠 + 다 유연..

최종 : Attention is all you need Attention을 적용한 인코더-디코더 모델 특징에서 Attention을 적용하여 유동적인 Context vector를 얻어, 효과적인 번역을 수행하였지만, 여전히 RNN셀을 사용해 순차적으로 계산한다는 점에서 속도가 느리고, Gradient Vanishing 문제 또한 존재하였다. Transformer는 해당 두 문제점을 해결하며 등장하였다. Transformer : Attention is all you need Transformer 모델은 Attention 만을 사용하는 모델이다. (제목 그대로) RNN의 순차적인 계산이 아닌, Attention 연산 (행렬곱) 한번 수행 RNN이 사용되지 않기 때문에 순서정보가 없어서 Positional En..