Hebbian Learning

출처 -

https://medium.datadriveninvestor.com/what-is-hebbian-learning-3a027e8e4bbb

What is Hebbian Learning?

 

The organisation of Behaviour라는 책에서 donald O. Hebb이란 분이 제안한 방법.

-> 신경망에서 neuron사이의 weight들을 업데이트시켜주는 메커니즘 중 하나

 

이 메커니즘 중 3개의 메인 포인트들이 있는데...

1) 정보(information)들은 weight라는 모습으로 뉴런들 사이의 연결부에 존재한다.

2) 뉴런들 사이의 weight의 변화량은 뉴런들의 활성화 값들의 곱과 비례한다.

3) 학습이 진행되면서, 동시 혹은 반복되는 뉴런들 사이의 "약한" connection들의 활성화들이 weight값들의 strength, 그리고 pattern을 바꾸게 된다. 이를 통해서 더 "강한" connection이 만들어진다.

 

Perceptron에 적용된 hebbian learning?

Frank Rosenblatt이란 사람이 1950년에, threshold neuron은 cognition을 modeling하는데에는 부적합하다고 생각했다.

이유는 threshold neuron 방식이 classification이나 recognition과 같은 역량을 내기에는 그런 분야에서 학습이나 적응력이 떨어진다 생각했기 때문이다.

 

Perceptron은 biological visual neural model에서 영감을 얻었는데, 아래의 3개의 레이어들을 통해서 설명된다.

 

1) input 레이어는 망막에 있는 감각 세포라고 생각해보자.

다음 층에 있는 neuron들과 랜덤하게 연결되어 있다.

 

2)  association layer들은 threshold neuron들을 가지고 있는 이들은 양방향 커넥션을 response layer와 가지고 있다고 생각해보자

 

3) response 레이어어 있는 threshold neuron들은 경쟁적으로 억제 신호를 전달하기 위해서 서로 연결되어있다.

 

response layer의 neuron들은 각자 다른 neuron들과 억제 신호를 보냄으로써 경쟁하면서, output을 만드는데 목적을 둔다.

Threshold function들은 association과 response 레이어들의 원점에 위치하게 된다.

이런 형식이 학습의 기초가 된다.

perception의 목표는 input pattern에 따른 올바른 neuron이 activate되게 하는 것이다.

 

 

결론

hebbian learning은 생물학적 neural weight adjustment의 메커니즘에서 가져온 것이다.

무능력한 neuron을 외부 자극을 통해서 learn & develop cognition하게 만들어주고, 이것이 오늘날의 neural learning의 기본적인 베이스가 되는 것이다.