728x90 Momentum2 Momentum과 Adagrad를 쉽게 이해해보자! 이전에 gradient descent 방식의 계산량이 많아 시간이 많이 소요된다는 한계점을 해결하는 방법인 Stochastic Gradient descent 방식과 mini-batch gradient descent 방식에 대해 알아보았다. data-science-hi.tistory.com/164 Stochastic Gradient Descent 를 쉽게 이해해보자. 이전에 GD(Gradient Descent) 를 간단한 회귀분석 예제를 들어 GD로 학습하는 과정을 거쳐 parameter 를 추정하는 연습을 통해 GD 를 이해해 보았다. data-science-hi.tistory.com/163 gradient descent(경사하.. data-science-hi.tistory.com 기존의 SGD 방식에다.. 2020. 12. 16. Stochastic Gradient Descent 를 쉽게 이해해보자. 이전에 GD(Gradient Descent) 를 간단한 회귀분석 예제를 들어 GD로 학습하는 과정을 거쳐 parameter 를 추정하는 연습을 통해 GD 를 이해해 보았다. data-science-hi.tistory.com/163 gradient descent(경사하강법) 를 쉽게 이해해보자. 이번 장에서는 gradient descent 방법에 대해 직관적이고, 쉽게 이해해보고자 한다. 우선 gradient descent 라는 뜻을 생각해보자. 직역을 하면 경사하강법인데, 경사를 내려간다 라는 의미로 받아들이 data-science-hi.tistory.com 이번 장에서 알아볼 SGD(Stochastic Gradient Descent)는 GD 에 시간비용 단점을 보완할 확장판이다. GD 의 문제점. 이전.. 2020. 12. 16. 이전 1 다음 728x90
