728x90 반응형 optimization2 Momentum과 Adagrad를 쉽게 이해해보자! 이전에 gradient descent 방식의 계산량이 많아 시간이 많이 소요된다는 한계점을 해결하는 방법인 Stochastic Gradient descent 방식과 mini-batch gradient descent 방식에 대해 알아보았다. data-science-hi.tistory.com/164 Stochastic Gradient Descent 를 쉽게 이해해보자. 이전에 GD(Gradient Descent) 를 간단한 회귀분석 예제를 들어 GD로 학습하는 과정을 거쳐 parameter 를 추정하는 연습을 통해 GD 를 이해해 보았다. data-science-hi.tistory.com/163 gradient descent(경사하.. data-science-hi.tistory.com 기존의 SGD 방식에다.. 2020. 12. 16. gradient descent(경사하강법) 를 쉽게 이해해보자. 이번 장에서는 gradient descent 방법에 대해 직관적이고, 쉽게 이해해보고자 한다. 우선 gradient descent 라는 뜻을 생각해보자. 직역을 하면 경사하강법인데, 경사를 내려간다 라는 의미로 받아들이면 된다. 예를 들어 우리가 산 어딘가에 낙하했다면, 우리가 집을 찾아가기 위해 산을 내려가는 과정을 생각하면 된다. 수학적인 관점에서 보면은 gradient descent 는 최소가 되는 지점을 찾는다라고 생각해볼 수 있다. gradient 라는 정보를 가지고 어떤 시도를 해보면서 최소가 되는 지점을 찾아가는 과정이다. gradient 는 y=ax+b 라는 1차식에서 a 에 해당하는 기울기라고 보면 된다. 우리는 이 a 라는 gradient 정보를 가지고 최소값을 찾는 것이다. 어떤 최소.. 2020. 12. 14. 이전 1 다음 728x90 반응형
