자연어처리에 대한 간략한 소개 자연어처리(NLP) NLU(Understanding) : 사람이 일상적으로 사용하는 자연어를 컴퓨터가 이해하는 값으로 변경 NLG(Generation) : 컴퓨터가 이해하는 값을 사람이 이해하는 값으로 변경 자연어처리의 어려움 Ambiguity 모호성/중의성 존재 - 최대한 짧은 문장내에 많은 정보를 담고자하기에, 정보량이 낮은 내용은 생략가능 - 사람은 모호한 부분을 쉽게 채울수 있지만, 컴퓨터는 힘듦 Paraphrase (다른말로 바꾸어 표현가능) - 같은 의미를 지니는 말인데 표현할수 있는 방법이 많음 한국어 처리의 어려움 한국어는 교착어다. (어간에 접사가 붙어 단어를 이루고 의미와 문법적 기능이 정해짐) - 잡 + 히 + 다 - 잡 + 히 + 었 + 겠 + 다 유연..

최종 : Attention is all you need Attention을 적용한 인코더-디코더 모델 특징에서 Attention을 적용하여 유동적인 Context vector를 얻어, 효과적인 번역을 수행하였지만, 여전히 RNN셀을 사용해 순차적으로 계산한다는 점에서 속도가 느리고, Gradient Vanishing 문제 또한 존재하였다. Transformer는 해당 두 문제점을 해결하며 등장하였다. Transformer : Attention is all you need Transformer 모델은 Attention 만을 사용하는 모델이다. (제목 그대로) RNN의 순차적인 계산이 아닌, Attention 연산 (행렬곱) 한번 수행 RNN이 사용되지 않기 때문에 순서정보가 없어서 Positional En..

RNN based Encoder-Decoder with ATTENTION 전통적인 RNN기반의 인코더-디코더의 특징에서 " Context vector가 고정된 크기다. 따라서 긴 입력문장의 경우 모든정보 압축이 힘들다. " 라고 하였다. 해당 문제점을 보완하기 등장한 매커니즘이 Attention이다. Attention Attention이란 디코더에서 출력단어를 예측하는 매시점마다, 인코더에서의 출력결과를 다시한번 참고하는것 해당 시점에서 예측해야할 단어와 연관이 있는 입력단어 부분을 집중(Attention)하여 보는 것 내가 생각하는 표현 : 모든 관계를 파악하는것이 Attention 이다. 1:1로 element간의 관계를 확인하는 과정이 Attention에 있기 때문 Attention을 적용한 인코더..

Seq2Seq Model RNN 기반 인코더-디코더 모델 전통적인 RNN기반 인코더-디코더 모델은 위와 같다. 순차적으로 들어오는 입력들에 대해서 전부 Hidden state를 계산하여 다음 time-step으로 넘김 인코더에서는 입력된 문장들의 정보를 압축하여 Context vector 얻음 디코더에서는 Context vector로 부터 번역된 문장을 도출 특징은 다음과 같다. Context vector가 고정된 크기다. 따라서 긴 입력문장의 경우 모든정보 압축이 힘들다. 해당 문제를 보완하기 위해 등장한 매커니즘이 "Attention" (나중에 나옴) 전체 구조 및 과정은 위와 같다. 입력 문장 토큰화 수행 토큰들은 Word embedding 통과 각 RNN셀의 입력으로 들어감 인코더 마지막 셀의 H..

Github 다루기​ 필수개념 알아보기 Github는 소프트웨어 개발 프로젝트를 위한 소스코드 관리 서비스 1. 커밋 파일을 추가하거나 변경내용을 저장소에 저장하는 작업 2. 푸시 파일을 추가하거나 변경내용을 원격저장소에 업로드하는 작업 3. 브랜치 소프트웨어 개발을 할 때 병렬적으로 수행하기 위함 버전관리를 위해 사용하는 기능 현재 출시된 버전 유지보수 & 새로운 기능 추가 및 버그수정 가능 사용하기 1. github에 저장소작성(git init) 또는 복제(git clone) 메인화면에서 Create new repository Description : 저장소의 설명 작성부분 Public / Private : 저장소 유형 설정 ( private는 유료임 ) Add a README file : readf..

분류모델 - SVM 출처 : https://hleecaster.com/ml-svm-concept/ 출처 : https://en.wikipedia.org/wiki/Support-vector_machine 출처 : https://bskyvision.com/163 SVM(Support Vector Machine) 이란? 서포트 벡터 머신은 결정 경계(Decision Boundary : 분류를 위한 기준) 을 정의하는 모델이다. 아래의 예를보면 해당 데이터를 Average Numbere of Goals(1) 와 Average Time to catch Snitch(2) 속성 두가지로 분류할 수 있고 둘 사이의 Decision Boundary 는 아래 검은 직선이 되겠다. 하지만 두 속성을 나누는 선은 아래처럼 여..