Decision tree & Minimum-redundancy-maximum-relevance란?

1. Decision tree

 

 

- 분류 규칙을 통해 데이터를 특정 플로우를 지나게 하면서 분류, 회귀하는 지도 학습 모델이다.

- 한번의 분기에 변수 두개로 구분

 

- 분리 기준은?

-> 불순도 (지니, 엔트로피 지수)

-> 현재노드의 불순도에 비해 자식노드의 불순도가 감소되도록 설정 (여러 클래스가 섞여 있을수록 불순도가 높음)

• 지니 지수 :
지니 지수의 최대값 : 0.5

계산의 예) 

한 박스에 빨간공 5개와 파란공 10개가 들어있다면,

= 1 - (10/15)^2 - (5/15)^2 = 약 0.45

 

• 엔트로피 지수 :

계산의 예)

한 박스에 빨간공 5개와 파란공 10개가 들어있다면,

= - 10/15 logbase2(10/15) -5/15 logbase2(5/15)

= -10/15 * (-0.585) - 5/15 * -1.585 = 약 0.918

 

학습을 할때 이 불순도 값들이 줄어드는 방향으로 트리를 형성하게 됨.

 

---

 

2. Minimum-redundancy-maximum-relevance (mRMR)

 

- feature와 feature간의 관계도 고려 (상호의존성 사용)

- class와 연관성이 높은 feature를 찾되,

- 이미 뽑힌 feature에 대해서는 비슷한 다른 feature을 더 뽑지 않겠다.