Weight Initialization

Weight Initialization

딥러닝 모델을 학습한다는 건 loss 값이 최소가 되는 parameter를 찾는 것이다. 최적의 parameter를 찾기 위해 고려해야 할 점들이 여럿 있지만, 그 중 parameter의 초기값 설정은 중요한 영향을 미친다. 이 글에선 parameter 즉, weight의 초기값을 설정하는 여러 가지 방법에 대해 다뤄보려 한다.

 

Zero Initialization (or Same Initialization)

weight 크기를 크게 부여할수록 모델은 특정 데이터에만 잘 맞는 overfitting 문제가 발생하기 쉽다. 그렇기 때문에 weight을 0 혹은 굉장히 작은 값으로 부여해 학습을 진행시켜보자.

 

 

 

 

 

 

$h_1 = h_2 = h_3 = \mathbf{W}(i_1 + i_2)$

 

 

여기 2층으로 구성된 네트워크가 있다. 각 노드의 weight이 모두 동일하다면, 그 다음 레이어의 노드들은 모두 동일한 값을 가질 것이다.

이렇게 모든 노드의 값이 같다면 backpropagation 진행 시에도 weight들은 모두 다 같은 값으로 업데이트 되어 결국 한 레이어에 하나의 노드만이 존재하는 네트워크와 동일한 구조를 가지게 된다. 이런 모델은 낮은 표현력을 가져 주어진 데이터를 충분히 설명하지 못한다.

 

문제를 해결할 수 있는 방법은 간단하다. 바로, weight의 초기값이 동일한 값을 가지지 못하게 난수로 초기화하는 것이다.

 

 

Random Initialization

위 내용을 통해 weight이 각자 다 다르게 초기화 되어야 한다는 것을 알았다. Random하게 부여하기 위해 특정 분포에 따라 weight 값을 초기화 시켜보자.

 

• 표준편차가 1인 정규분포를 따를 때

먼저, 모델의 weight을 표준편차가 1인 정규분포에서 random하게 설정한 결과이다. 이때 활성화값 분포는 0과 1에 치우쳐져 있다는 것을 알 수 있다. (이때, 활성화 함수는 Sigmoid를 사용해주었다)

Sigmoid 함수에서 0과 1의 기울기는 0에 가까운 값이다. 기울기가 0에 가까워지면 레이어가 깊어질수록 기울기가 소실되는 문제가 발생한다. 이 문제는 backpropagation 진행 시 weight 값을 update 할 수 없어 학습이 더이상 진행되지 못하게 만든다.

 

• 표준편차가 0.01인 정규분포를 따를 때

그럼 좀 더 좁은 분포에서 weight 값을 초기화시키면 어떨까? 표준편차 값이 0.01인 분포에서 weight 값을 초기화 시켜보자.

해당 경우 활성화값들이 0.5 부근에 모여있다는 것을 알 수 있다. 다행히도 Sigmoid에서 0.5 근처에서 기울기 값은 0.25 정도이기 때문에 기울기 소실 문제를 야기하진 않는다. 그러나 이렇게 활성화값이 한쪽에 치우쳐져 있다는 것은 대다수의 노드들이 비슷한 값을 가진다는 것이고, 결국 데이터를 설명할 수 있는 표현력이 저하되기 때문에 이 역시도 학습이 원활히 진행된다고 보기 어렵다.

 

고정된 표준편차를 사용해 weight 값들을 난수로 초기화 하면 기울기 소실이나 표현력 저하 등의 문제가 발생한다는 것을 알았다. 이런 문제를 해결하기 위해 고정된 표준편차(특정 확률분포)가 아닌 이전 node에 따라 weight 값을 초기화 시키는 방법이 제안되었다. 해당 방법에는 어떤 것들이 있는지 알아보자.

 

Xavier Initialization

먼저, Xavier Initialization이다. 이 방법은 앞서 말했듯 weight의 분포가 고정된 표준편차를 사용하지 않고 이전 hidden state의 node 수에 맞게 변화한다. 이때 forward 방향에서의 이전 node는 입력 node가 되고, backward 방향에서의 이전 node는 출력 node가 되므로 입력과 출력 node를 모두 고려해 weight 값을 초기화 시킨다고 표현할 수 있다.

 

정리하자면 Xavier Initialization은 다음 layer의 weight 값들을 초기화할 때 layer의 입력 노드 수인 $n_{\text{in}}$과 출력 노드 수인 $n_{\text{out}}$을 모두 고려하며, 이는 다음과 같이 평균 0, 분산 $\frac{2}{n_{\text{in}} + n_{\text{out}}}$를 갖는 정규분포에 따라 초기화된다고 표기할 수 있다.

이 방법은 활성화 함수가 선형일 때 사용할 수 있다. sigmoid 경우 좌우 대칭 형태를 띄는 함수이기 때문에 중앙 부분에선 선형 함수처럼 생각할 수 있다. 따라서 sigmoid나 tanh와 같이 S자 형태의 활성화 함수를 사용할 때 유용하게 사용할 수 있는 방법이다. 그러나 활성화 함수로 이 둘보다 자주 쓰이는 ReLU의 경우 선형 함수라 볼 수 없다. 음수일 땐 0을, 0보다 큰 값일 땐 그 값 그대로 사용하는 ReLU 함수를 사용할 때 효과적으로 가중치를 초기화 할 수 있는 방법은 어떤걸까?

 

He Initialization

He Initializatoin은 ReLU 함수에 적합한 가중치 초기화 방법이다. 이 방법 또한 이전 hidden state의 node 수에 맞게 weight의 분포가 변화한다. 그러나 Xavier와 달리 입력 node의 수만 고려해 weight를 초기화시킨다. 

따라서 평균 0, 분산 $\frac{2}{n_{\text{in}}}$를 갖는 정규분포에 따라 weight을 초기화 시키는 방법이라 말할 수 있고, 수식으로 다음과 같이 표현할 수 있다.

 

💡 Reference

 

1. 밑바닥부터 시작하는 딥러닝 / 한빛미디어

https://product.kyobobook.co.kr/detail/S000001057805