[지도학습] 회귀모델 - 선형 회귀

회귀모델 - 선형회귀

---

 

(위키피디아 설명)

회귀(영어: regress)의 원래 의미는 옛날 상태로 돌아가는 것을 의미하는데, 영국의 유전학자 프랜시스 골턴은 부모의 키와 아이들의 키 사이의 연관 관계를 연구하면서 부모와 자녀의 키사이에는 선형적인 관계가 있고 키가 커지거나 작아지는 것보다는 전체 키 평균으로 돌아가려는 경향이 있다는 가설을 세웠으며 이를 분석하는 방법을 "회귀분석"이라고 하였다. 이러한 경험적 연구 이후, 칼 피어슨은 아버지와 아들의 키를 조사한 결과를 바탕으로 함수 관계를 도출하여 회귀분석 이론을 수학적으로 정립하였다.

회귀분석

: 관찰된 연속형 변수들*에 대해 두 변수 사이의 관계를 나타내는 모형을 구한뒤 적합도를 측정해내는 분석방법이다.

여기서 회귀의 뜻은 독립변수x와 종속변수y의 사이의 관계를 보여주는 식(선)을 의미한다.

*(데이터가 연속값인 실수형이면 회귀를 사용 / 이산값이면 분류를 사용한다.)

출처 : 위키피디아

회귀분석을 하는 이유

실제 상황은 입출력관계를 정확히 정의할 수 없으므로, 객관적으로 데이터를 분석하기에 어렵다.

따라서 실제와 그나마 비슷한 회귀모형을 설정하고, 회귀모형을 토대로 회귀분석을 진행하는 것

 

회귀의 종류

1. 독립변수 수에 따른 분류

단순회귀분석 : 하나의 종속변수와 하나의 독립변수 사이의 관계를 분석

다중회귀분석 : 하나의 종속변수와 여러 독립변수 사이의 관계를 분석

왼쪽 : 단순회귀분석 / 오른쪽 : 다중회귀분석

2. 형태와 목적에 따른 분류

선형회귀 : 앞서 언급한 회귀 내용을 의미

논리회귀 : 데이터를 분류하는 회귀

 

선형회귀 구조 및 학습과정

기본구조는 선형레이어구조를 따른다.

 

1. 입력데이터를 신경망을 통과시켜서 출력을 얻음

2. 원하는값(레이블)과의 오차를 구함

3. 오차가 최소가 되게끔 Gradient descent 을 사용하여 파라미터를 업데이트

4. 최소오차를 가지게하는 파라미터를 찾는것이 최종목표

파라미터 업데이트과정

global minima 로 부터 왼쪽에있다면 기울기가 음수라서 (-)를 붙여서 오른쪽으로 이동

global minima 로 부터 오른에있다면 기울기가 양수라서 (-)를 붙여서 왼쪽으로 이동

 

 

지도학습으로의 회귀 정리

데이터 : 연속형 변수 (실수값) (e.g. 키에 따른 몸무게, 나이에따른 수입..)

Loss : MSE loss 사용

return : 실수값 벡터