분류모델 - SVM 출처 : https://hleecaster.com/ml-svm-concept/ 출처 : https://en.wikipedia.org/wiki/Support-vector_machine 출처 : https://bskyvision.com/163 SVM(Support Vector Machine) 이란? 서포트 벡터 머신은 결정 경계(Decision Boundary : 분류를 위한 기준) 을 정의하는 모델이다. 아래의 예를보면 해당 데이터를 Average Numbere of Goals(1) 와 Average Time to catch Snitch(2) 속성 두가지로 분류할 수 있고 둘 사이의 Decision Boundary 는 아래 검은 직선이 되겠다. 하지만 두 속성을 나누는 선은 아래처럼 여..

비선형회귀 선형회귀의 경우에는 선형적인 데이터들을 분석한 것 하지만 실제 데이터들은 차원이 높고, 복잡한 비선형관계를 지님 해결과정 1 만약 linear layer를 깊게 쌓으면 문제가 해결될까? --> 결국에는 가중치곱의 항이 여전지 선형이라 비선형문제 해결되지 않는다. 해결과정 2 비선형성을 해결하기 위해서는 비선형함수를 넣어주면 되지 않을까? layer 사이마다, 다음 layer에 넘겨주기전에 비선형 활성함수를 넣어준다. (즉, 각 layer의 출력값이 비선형활성함수를 통과한 후 다음 layer에 전달) 학습과정 Layer를 한개만 사용하는것은 학습 성능이 좋지못함 비선형성을 해결하기 위해 다음 Layer로 넘어가기전에 활성화함수 통과 위 두가지를 만족한채 Layer를 다중으로 쌓아 심층신경망을 구..

회귀모델 - 논리회귀 논리회귀 구조 및 학습과정 논리회귀란 기존 회귀(return값이 실수)와 달리 return값이 True(1)/False(0)로써 분류를 할때 사용한다. 이진분류와 동일한 기능을하며, 구조는 선형회귀에서 출력쪽에 sigmoid를 추가한 것 학습과정은 선형회귀와 동일 (구조랑 loss만 다름) sigmoid 함수를 사용한 이유? 선형회귀의 경우에는, 정확한 입출력관계를 모르는 데이터에 대해 경향성을 파악하고자 함이고 논리회귀의 경우에는 경향성을 파악하는게아닌 데이터를 분류하기 위한 목적으로 사용되는데 이때 사용되는 함수가 sigmoid함수이다. sigmoid함수 형태는 아래와 같은데 입력값 z에대해 출력결과가 0~1사이의 값을 가지므로 출력값이 0.5이상일경우 class(1) 로 정의하..

회귀모델 - 선형회귀 (위키피디아 설명) 회귀(영어: regress)의 원래 의미는 옛날 상태로 돌아가는 것을 의미하는데, 영국의 유전학자 프랜시스 골턴은 부모의 키와 아이들의 키 사이의 연관 관계를 연구하면서 부모와 자녀의 키사이에는 선형적인 관계가 있고 키가 커지거나 작아지는 것보다는 전체 키 평균으로 돌아가려는 경향이 있다는 가설을 세웠으며 이를 분석하는 방법을 "회귀분석"이라고 하였다. 이러한 경험적 연구 이후, 칼 피어슨은 아버지와 아들의 키를 조사한 결과를 바탕으로 함수 관계를 도출하여 회귀분석 이론을 수학적으로 정립하였다. 회귀분석 : 관찰된 연속형 변수들*에 대해 두 변수 사이의 관계를 나타내는 모형을 구한뒤 적합도를 측정해내는 분석방법이다. 여기서 회귀의 뜻은 독립변수x와 종속변수y의 사..

분류모델 - KNN KNN의 기본개념 KNN 알고리즘은 분류와 회귀문제를 둘다 해결할 수 있는 머신러닝 알고리즘이다. KNN 알고리즘을 한마디로 표현하면 "Birds of a feather flock together. (유유상종)" 이라고 할 수 있다. 즉 비슷한 특성을 가진 데이터끼리 모여있다는 것 을 전제로 하고, 새로운 데이터가 들어왔을때 주변 데이터를 참고하여 어느 분류에 속하는지 학습하는 것이다. KNN에서 K는 새로운 입력데이터의 주변에서 몇개의 데이터를 볼것인가? 라는 의미를 가지고 있다. 아래 빨간색원이 입력데이터로 들어왔을때 K=3 일경우 주변에 세개의 원을 고려하였고 --> Class B K=6 일경우 주변에 여섯개의 원을 고려하였음. --> Class A K값에 따라 Class를 다르..