l2regularization1 딥러닝 Backpropagation, L2 regularization @ Backpropagation- 자동적으로 W와 b를 학습하기 위해서는 영향값(어떠한 점에서의 미분값)이 필요함. - 그러나 NN이 매우 복잡한 형태이므로 미분을 하는 것이 매우 어렵다. 각각의 input에서 output에 미치는 영향을 모두 알아내는 것이 어렵다. - 그래서, Paul, Hinton이 Backpropagation 알고리즘을 고안해냄. 이는 예상값과 실제 출력의 차이, 즉 cost를 갖고 뒤에서 부터 앞으로 쭉 되돌아오면서 미분값(영향을 미치는 것)을 어떻게 조정해야 하는지 알 수 있음. - 여기서 두 가지의 방법을 차례대로 적용하여야 한다. 첫번째로 forward, 학습데이터에 주어진 w, x, b를 이 그래프에 대입한다- 그리고 backward로 실제 미분값을 구함. 이 과정에서 복.. 2018. 6. 2. 이전 1 다음 반응형
