신경망 구조

신경망 구조 및 기능

선형레이어(Linear layer)

신경망의 가장 기본 구성요소로써 Fully-Connected(FC) Layer 라고 부른다.

Linear Layer

작동방식은 각 입력노드들에 가중치(weight)를 곱하고 합한뒤 bias를 더해주는 방식

작동방식

최적화 방법

ANN 에서 제시하는 기본적인 최적화 방법은 Gradient Descent (경사하강법) 이다.

Loss를 최소화하는 방향으로 모델(함수) f(ceta)의 파라미터 ceta(weight, bias)를 조절해야하는데

Loss를 최소화하는 방법을 경사하강법으로 구현하는 것이다.

 

최소화한다는 개념은 수학에서의 미분과 동일하다.

convex 함수에서 기울기가 0이 되는 지점의 ceta값을 구하면 되는것

따라서, Loss를 ceta로 미분함을 통해 gradient를 얻고

loss를 낮추는 방향으로 ceta를 업데이트 하면 된다.