Deep Learning 02 - DNN, FC (Dense) layer, Back Propagation, Vanishing Gradient , Relu, Dropout

 

201016, 19

 

 

• neuron은 외부의 자극 x 가중치를 activation function의 결과에 따라 다음 뉴런에 전달할지 결정한다.

Single Layer Perceptron

 

• Perceptron으로 computer 연산의 기본 단위인 GATE를 학습하여 computer를 구현하려 했으나, XOR는 Perceptron 하나로는 구현할 수 없다.
• 다중 layer perceptron (MLP)로는 가능하나, 중간의 미분 과정이 시간이 많이 걸려 사실상 학습이 불가능하다.
• 이후 미분 대신 오차 역전파 (Back Propagation)가 도입되어 가능해졌다.
• 인공 신경망에서, 전후 Layer의 모든 node와 연결된 Layer를 Fully Connected (= Dense) Layer라고 부른다.

MLP와 인공 신경망

 

Deep Learning으로 MNIST 데이터를 분석한다.

• 1) TF 1.15 단일 layer로 구현
• 2) TF 1.15 다중 layer로 구현 => DNN
• 3) TF 1.15 다중 layer로 구현 (초기화, acitvation, dropout function 설정)

 

단일 layer랑 multinomial (logistic이 여러 개)를 헷갈리지 말자

 

 

• 미분의 비효율 문제를 해결하기 위해 오차 역전파 (Back Propagation) 도입
• 그러나, sigmoid 함수를 통해 소수점들이 곱해지면서 W값이 작아져 0으로 수렴하는 Vanishing Gradient 문제 발생
  • 이를 해결하기 위해
  • 1) W, b 초기화 방법 조절
  • 2) Activation Function에 sigmoid 대신 Relu 함수 도입

Back Progation

Vanishing Gradient와 Relu

 

Dropout 기법

• FC (Dense) layer은 Overfitting (과접합) 문제 발생

Dropout 기법