Regularization이란?

1. 학습을 위해 알아둬야 할 개념들

• Overfitting : training dataset에만 지나치게 최적화 되어서, 막상 test dataset을 테스팅 할때는 제대로된 결과를 내지 못하는 상황
• Underfitting : 모델이 너무 간단하여, 학습의 loss가 줄어들지 않는 경우
 

 

- 이 Overfitting을 해결하기 위한 방법 중 1이 바로 Regularization이다!

 

Regularization은..

- weight가 너무 큰 값을 가지지 못하게 막는다.

-> 모델의 복잡도를 낮춰준다.

-> 학습을 "규제"하여서 overfitting 될 모델을 딱 좋은 정도로 학습을 제한해준다.

 

• L1 Loss : 실제값과 예측값의 차이, 각 오차들의 절대값들의 합
• L2 Loss : 실제값과 예측값의 차이, 각 오차들의 제곱값들의 합 

---

 

2. Regularization 의 종류

 

1) L1 Regularization

cost function이 작아지는 쪽으로만 학습하는 것이 아닌, w값 또한 w의 부호에 따라 상수 값을 빼주는 방식으로 regularization이 진행된다.

 

+ 해당 regularization을 사용하는 regression model을 least absolute shrinkage and selection operater(Lasso) Regression이라 한다.

 

2) L2 Regularization

위에서 말한대로, 기존 cost function에 weight의 제곱의 합을 더함으로써, weight가 너무 크지 않아지도록 학습하게 된다.

 

+ 해당 regularization을 사용하는 regression model을 Ridge Regression이라고 부른다.

 

---

 

3. 이것이 feature selection과 무슨 관련이 있는가?

 

- L1 Regularization으로 진행하게 되면 weight의 크기에 상관없이 상수값을 빼주는 방식으로 진행되게 때문에 작은 weights들은 0으로 수렴되게 되고, 크기가 큰 weight들(학습에 중요한 features)들만 남게 된다.

- L2 Regularization은 weight값의 크기가 weight값을 조정하는데에 영향을 미치게 되므로, L2보다 L1이 weight 규제에 효과적일 때가 많다.