Ai

Backpropagation (역전파)최적의 parameter 값을 찾기 위해 cost에 대한 입력층의 기울기를 계산하는 것출력층의 기울기부터 계산하여 역으로 전파하기 때문에 Backpropagation;역전파 라고 함Chain Rule (합성함수의 미분법) 사용 Backpropagation in a Single Layer 1. forward pass → weighted sum, activation function(sigmoid)2. cost function → MSE3. backpropagation→ Chain Rule$\frac{\partial C}{\partial w_i}$ : 3개의 함수로 이루어진 합성함수해당 함수의 기울기를 구하기 위해 합성함수의 미분법인 Chain Rule 적용위 식을 이루고..

Gradient Descent (경사 하강법)loss function(손실함수) 값이 최소가 되는 방향으로 parameter 값을 update 하는 것최소가 되는 방향 = Gradient 반대 방향쉬운 구현성 및 높은 확장성, 거의 모든 최적화 문제에 적용 가능함  starting point = $\theta^0$ → randomly pick !$\theta^0$ 에서 negative gradient 방향으로 이동 → $-\nabla C(\theta^0)$$\theta = (W_1, W_2), \ \nabla C(\theta^0)=\begin{bmatrix} \frac{\partial C(\theta^0)}{\partial W_1} \\ \frac{\partial C(\theta^0)}{\partial ..