STUDY(15)
-
Tensorflow 기록
Tensorflow 내용을 기록하는 곳 tf.function이 뭐야? tf 1.x 버전대에서는 그래프의 생성과 실행을 분리하고 값을 실행할때는 Session이라는 것을 열어서 값을 실행하는 형태였다. 이렇게 진행하다보니 값을 계산하고 싶을때마다 Session을 이용해서 실행을 해주어야만해서 프로그래밍 과정상에 불편함이 많았다. 따라서 tf 2.x 버전대에서는 Session을 삭제하고 바로 값을 실행할 수 있는 Eager Execution이라는 것이 적용되었다. 해당방법을 적용해서 값을 계산할때 별도의 Session을 열지 않고도 편리하게 진행할 수 있게 되었다. 그럼 왜 굳이 tf 1.x대에서는 저렇게 복잡하게 그래프의 생성과 실행을 분리했느냐라고 생각해 볼 수 있는데, 해당 형태가 성능상(=속도)의 이..
2022.05.06 -
github 1. 기본기
GITHUB 기본기 다루기 기본 github 사용 01 깃허브 초기 세팅 1. Github 기초 세팅 Github 사이트에서 새로운 [repository] 생성 (있을경우 생략) Github에 있는 데이터를 가져올 경로로 이동 git clone HTTPS주소 - repository 이름을 가진 폴더가 생기며, 해당 폴더로 이동해야 git 과 연동되어있음 - 연동된 폴더내에는 ".git 폴더"가 생성되어 있을것임 - git remote -v 로 연동확인가능하다. 02 깃허브 사용하기 (아래 번호순이 과정순이다.) 1. git status 파일 이리저리 수정 git status 를 통해 변경된 사항 확인가능 git status의 결과값은 세부분이 있는데, 1. Changes to be committed : ..
2022.04.28 -
1. 자연어처리
자연어처리에 대한 간략한 소개 자연어처리(NLP) NLU(Understanding) : 사람이 일상적으로 사용하는 자연어를 컴퓨터가 이해하는 값으로 변경 NLG(Generation) : 컴퓨터가 이해하는 값을 사람이 이해하는 값으로 변경 자연어처리의 어려움 Ambiguity 모호성/중의성 존재 - 최대한 짧은 문장내에 많은 정보를 담고자하기에, 정보량이 낮은 내용은 생략가능 - 사람은 모호한 부분을 쉽게 채울수 있지만, 컴퓨터는 힘듦 Paraphrase (다른말로 바꾸어 표현가능) - 같은 의미를 지니는 말인데 표현할수 있는 방법이 많음 한국어 처리의 어려움 한국어는 교착어다. (어간에 접사가 붙어 단어를 이루고 의미와 문법적 기능이 정해짐) - 잡 + 히 + 다 - 잡 + 히 + 었 + 겠 + 다 유연..
2022.04.08 -
Transformer 3. Attention is all you need
최종 : Attention is all you need Attention을 적용한 인코더-디코더 모델 특징에서 Attention을 적용하여 유동적인 Context vector를 얻어, 효과적인 번역을 수행하였지만, 여전히 RNN셀을 사용해 순차적으로 계산한다는 점에서 속도가 느리고, Gradient Vanishing 문제 또한 존재하였다. Transformer는 해당 두 문제점을 해결하며 등장하였다. Transformer : Attention is all you need Transformer 모델은 Attention 만을 사용하는 모델이다. (제목 그대로) RNN의 순차적인 계산이 아닌, Attention 연산 (행렬곱) 한번 수행 RNN이 사용되지 않기 때문에 순서정보가 없어서 Positional En..
2022.03.29 -
Transformer 2. Attention 매커니즘이 추가된 인코더-디코더
RNN based Encoder-Decoder with ATTENTION 전통적인 RNN기반의 인코더-디코더의 특징에서 " Context vector가 고정된 크기다. 따라서 긴 입력문장의 경우 모든정보 압축이 힘들다. " 라고 하였다. 해당 문제점을 보완하기 등장한 매커니즘이 Attention이다. Attention Attention이란 디코더에서 출력단어를 예측하는 매시점마다, 인코더에서의 출력결과를 다시한번 참고하는것 해당 시점에서 예측해야할 단어와 연관이 있는 입력단어 부분을 집중(Attention)하여 보는 것 내가 생각하는 표현 : 모든 관계를 파악하는것이 Attention 이다. 1:1로 element간의 관계를 확인하는 과정이 Attention에 있기 때문 Attention을 적용한 인코더..
2022.03.29 -
Transformer 1. 전통적인 RNN기반 인코더-디코더 모델
Seq2Seq Model RNN 기반 인코더-디코더 모델 전통적인 RNN기반 인코더-디코더 모델은 위와 같다. 순차적으로 들어오는 입력들에 대해서 전부 Hidden state를 계산하여 다음 time-step으로 넘김 인코더에서는 입력된 문장들의 정보를 압축하여 Context vector 얻음 디코더에서는 Context vector로 부터 번역된 문장을 도출 특징은 다음과 같다. Context vector가 고정된 크기다. 따라서 긴 입력문장의 경우 모든정보 압축이 힘들다. 해당 문제를 보완하기 위해 등장한 매커니즘이 "Attention" (나중에 나옴) 전체 구조 및 과정은 위와 같다. 입력 문장 토큰화 수행 토큰들은 Word embedding 통과 각 RNN셀의 입력으로 들어감 인코더 마지막 셀의 H..
2022.03.29