Neural Network: Perceptron & MLP

Neural Network

• Neural Network에 속하는 Perceptron은 linear 하고, MLP는 non-linear 함.
• 이후 MLP보다 성능이 좋은 SVM이 많이 활용됨.
• Deep Neural Network(DNN)가 등장하면서 SVM이 덜 사용되고 있으며, 양질의 빅데이터를 모으기 어려운 경우에는 SVM을 활용함.

Perceptron with Activation function

Learning Procedure

1. 0 부터 1 사이의 값으로 랜덤하게 가중치를 부여하기
2. Training data로부터 inputs 나타내기
3. Output hw를 얻고, 가중치를 조금씩 조절하여 원하는 출력 T에 가까운 결과를 얻기
4. 가중치 값이 수렴하도록 epochs를 설정하여 반복하기

Perceptron with Activation function

• 퍼셉트론은 본질적으로 선형 분류기.

A learning rule for Perceptron

• 가중치를 적용함으로써 에러를 감소시킴. 잔차 제곱합(Sum of Squared Errors)을 사용.
• E의 편미분을 계산함으로써 squared error를 감소시키는 방향으로 gradient descent를 수행할 수 있음.

Perceptron learning rule

1. 랜덤하게 weights를 부여하기
2. Training example 고르기
3. g를 얻기 위해 input x 와 weights w를 입력하여 퍼셉트론 실행하기
4. Training rate인 α를 선택하기

Linear Separable Functions

• 퍼셉트론은 선형 분류 문제만 풀 수 있음.
• Hidden layer를 추가하면 더 많은 target functions를 나타낼 수 있음.

Multilayer Perceptron & Hidden Units

• 선형 분류 문제를 보완하기 위해, 고안된 구조. Fully connected, feedforward 네트워크를 가짐.
• Hidden Units는 input 노드와 output 노드 사이에 존재하며, non-linear functions로 학습할 수 있음. Input features의 조합으로 나타낼 수 있음.
• 마지막 hidden layer는 feature map으로 여겨짐.

Soft threshold in MLP

• Hidden layer를 추가하면, hypothesis의 영역을 확장할 수 있음.

Learning algorithm for MLP

• Output layer로부터 hidden layer로 에러를 back-propagate 할 수 있음.

 

* 참고 자료

컴퓨터비전 강의자료(김은이 교수님)