▶개발/머신러닝&딥러닝(ML,DL)8 딥러닝 Backpropagation, L2 regularization @ Backpropagation- 자동적으로 W와 b를 학습하기 위해서는 영향값(어떠한 점에서의 미분값)이 필요함. - 그러나 NN이 매우 복잡한 형태이므로 미분을 하는 것이 매우 어렵다. 각각의 input에서 output에 미치는 영향을 모두 알아내는 것이 어렵다. - 그래서, Paul, Hinton이 Backpropagation 알고리즘을 고안해냄. 이는 예상값과 실제 출력의 차이, 즉 cost를 갖고 뒤에서 부터 앞으로 쭉 되돌아오면서 미분값(영향을 미치는 것)을 어떻게 조정해야 하는지 알 수 있음. - 여기서 두 가지의 방법을 차례대로 적용하여야 한다. 첫번째로 forward, 학습데이터에 주어진 w, x, b를 이 그래프에 대입한다- 그리고 backward로 실제 미분값을 구함. 이 과정에서 복.. 2018. 6. 2. (딥러닝 정리노트 #4) 딥러닝의 역사, XOR문제 ## 인프런_딥러닝 강의 해당 글은 인프런 모두를 위한 딥러닝 - 홍콩과기대 김성훈 교수님의 강의를 보며 정리한 노트입니다. @ 섹션8. 딥러닝의 기본개념: 시작과 XOR문제 - Deep Neural Network.- 궁극적인 목적 : 인간의 생각을 대신 해주는 것.- 인간의 생각의 주체 -> 뇌, 뇌의 구성을 연구 -> 뉴런 (다소 단순한)- 뉴런 : 시냅스로 부터 input, 이 자체를 X*W로 볼 수 있음. - AND/OR등을 기계가 푼다면 되지 않을까 라는 과거의 생각.- 그러나 XOR을 풀지 못하였음.- Minsky가 XOR문제를 풀지 못할 것이라는 증명을 냄- 이유인즉, Multi layer(MLP)에서 학습하는 문제가 어렵기 떄문. - 이후 Paul의 Backpropagation으로 이 문제.. 2018. 6. 1. (딥러닝 정리노트 #3) Softmax Regression, Learning rate ## 인프런_딥러닝 강의 해당 글은 인프런 모두를 위한 딥러닝 - 홍콩과기대 김성훈 교수님의 강의를 보며 정리한 노트입니다. @ 세션6. Softmax Regression - logistic regression 복습- H(x) = Wx의 결과가 1을 초과한 큰 값이 나오므로 이를 z로 생각하고, g(z)라는 수식이 큰 값들을 0과 1사이로 압축해줌. - x -> w -> z -> y의 햇 // z를 통해 시그모이드로 변환, y햇은 0과 1사이- 2개의 결과를 구분 짓은 리니어를 그리는 것. - multinomial classification ( 여러개의 입력을 통한 여러개의 결과 )- binary classification으로 multinomial classification 구현이 가능함.- ex) a,.. 2018. 5. 30. (딥러닝 정리노트 #2) Binary Classification-Logistic regression ## 인프런_딥러닝 강의 해당 글은 인프런 모두를 위한 딥러닝 - 홍콩과기대 김성훈 교수님의 강의를 보며 정리한 노트입니다. @섹션5. Binary Classification - 둘 중 하나의 결과를 도출시키는 classification- 예시는 페이스북 피드 업로드, 스팸메일 처리, 신용카드 오사용 분류- 이러한 예시를 컴퓨터로 쉽게 코드를 짤 수 있도록 encoding을 함, 0과 1로 구분짓는 것임. 스팸메일(1)_정상메일(0)- 0과 1로 이루어진 결과만 도출하는 상황에서 linear regression으로 해결하는 것은 cost의 값이 매우 커지게 됨.- 이유인즉 1이상의 값, 0이하의 값을 linear regression에서 도출되기 때문임- 이 cost의 값을 낮추기 위한 그래프, 시그모이드.. 2018. 5. 30. (딥러닝 정리노트 #1) 딥러닝개요와 Linear Regression ## 인프런_딥러닝 강의 해당 글은 인프런 모두를 위한 딥러닝 - 홍콩과기대 김성훈 교수님의 강의를 보며 정리한 노트입니다. @섹션0~3.- (hypothesis, cost function, gradient descent algo.)- hupothesis = Wx + b // W, b 두개의 값을 학습- cost(W,b) = 실제값과 예측한 값의 차이를 제곱하여 평균한 것(밥그릇 모양)- 밥그릇 모양의 그래프에서 최적의 값을 찾기 위한 알고리즘 : gradient descent algorithm @섹션4. 여러개의 입력의 Linear Regression - 이전까지는 하나의 인풋을 통해 학습했지만, 여러개의 input은 어떻게 해야할가?- 하나의 input일땐 h=Wx+b, 3개의 입력일 경우 H(x1,.. 2018. 5. 30. 딥러닝 사례분석 : 자율주행 자동차 자율주행 자동차 개발시장에서 선두주자로 꼽히고 있는 테슬라모터스의 딥러닝 적용사례테슬라 자율자동차 기술에서 딥러닝은 아주 중요한 요소로 꼽히고 있다. 딥러닝으로 자율주행기술을 한층 끌어올릴 수 있기 때문이다. 딥러닝이 어떻게 적용되는지 들여다보자, 가장 먼저 전 세계에 위치한 테슬라 자율차에서 수집한 카메라 영상 데이터들을 클라우드 데이터 센터에 업로드한다. 이후 업로드 된 영상데이터를 이용해 '딥러닝 모델'을 학습시킨다. 학습이 된 '딥러닝 모델'을 통해 자율차는 다양한 주행상황에서의 대응이 가능해진다. 2018. 5. 15. 이전 1 2 다음 반응형
