Regularization

Regularization

 

딥러닝 모델을 학습하는 과정에서 해당 모델이 학습 데이터에만 최적화되면 어떨까? 아마 새로운 데이터가 입력되면 모델은 제대로 된 예측값을 출력하지 못할 것이다. 이런 문제를 Overfitting(과적합)이라 한다.

 

이런 Overfitting을 해결하기 위해선 학습 데이터의 양을 늘리거나, Regularization을 사용해 모델의 weight를 규제하거나, 모델 학습을 끝까지 하지 않고 중간에 멈추는 방법(Early-Stopping) 등을 사용할 수 있다.

 

앞서 말했듯이, Regularization은 Overfitting을 막기 위해 weight(가중치)에 규제를 거는 것이다.

모델이 Overfitting 되었다는 건 데이터 하나 하나에 민감하게 반응하여 일반적인 패턴이 아닌 모든 패턴을 중요하게 보는 복잡한 함수라는 것이다. 모델이 일반적인 패턴을 학습할 수 있도록 단순하게 표현하기 위해 모델의 파라미터인 weight에 규제를 건다.

 

weight에 규제를 가하는 방법은 cost function에 panelty 항을 부여하는 것이고, 어떤 panelty 항을 사용했느냐에 따라 Regularization 종류가 달라진다.

 

L1 & L2 Norm

Norm 이란, 벡터의 크기를 측정하는 함수다. 

 

L1 Norm은 벡터 간의 거리를 두 벡터 차이의 절댓값으로 나타낸 것이다. 따라서 한 가지 방법이 아닌 여러 가지 방법으로 벡터 거리를 측정할 수 있다. 

L2 Norm은 벡터 간의 거리를 두 벡터 차이의 제곱으로 나타낸 것이다. 여기선 한 가지 방법으로만 거리를 구할 수 있어 outlier(이상치)에 민감하게 작동한다.

 

Regularization에선 이 두 함수를 weight 값을 조정하는 panelty 항으로 사용한다. 그래서 각 방법의 이름을 따 L1 Regularization, L2 Regularization이라 부른다.

 

L1 & L2 Regularization

위 식은 L1 Regularization을 나타낸 것이다. weight update를 위해 미분을 하게 되면 L1 Norm은 부호 함수로 바뀐다. 즉, weight에 특정 상수 값을 빼거나 더해주는 방식으로 weight에 규제를 가하는 것이다.

 

이 Regularization을 사용하게 되면 특정 weight을 0으로 만들 수가 있다. 작은 값을 가지는 weight, 다시 말해 네트워크에 미치는 영향력이 작은 weight을 0으로 만들어 네트워크에 중요한 weight만을 가지고 학습할 수 있다. 이런 방법을 feature selection 이라 말하고, 이를 통해 sparse model을 만들 수 있게 된다. 그러나 0에서의 미분이 불가능하기 때문에 Gradient-Based Learning에서 주의하여 사용해야 한다.

 

L2 Regularization은 weight update를 할 때 실수값을 곱해 L1 Regularization과 달리 weight 값을 0으로 만들어 주지 않고 0에 가깝게 만들어 주는 역할만 한다. 또한, 이 실수값은 모든 weight에 동일한 값을 가지기 때문에 weight의 크기가 클수록 더 빨리 감소시키는 weight decay를 가능케 한다. 이러한 특징들로 인해 L2 Regularization이 L1에 비해 weight 규제에 효과적이고, 일반화 성능에 강한 모습을 보인다.