728x90 반응형 수학18 Gram-schmidt Orthogonalization 어떤 임의의 linearly independent 한 vector set이 주어졌을 때, orthonormal한 basis vector로 변환을 시켜주는 것이 중요하다. 이러한 과정을 수행하는 것이 Gram-schmidt Orthogonalization 이다. 위의 말을 이해하기 위해 general subspaces에 Projection 시키는 과정을 살펴보자. n 차원의 벡터 $x$가 있고, m 차원의 subspace $U$로 Orthogonal Projection을 시켜보도록 하자. 예를 들어 $U$가 2 차원이라고 해보자. 2 차원이면 basis veocor $b$ 가 2개 존재할 것이다. 그리고 원래 vector space 에 $x$라는 vector가 있을 때, 이 vector를 Orthogona.. 2020. 8. 14. Constrained optimization 앞서 살펴보았던 unconstrained optimization은 목적함수를 최소화하는 방법으로 진행하였는데, constrained optimization은 모든 $x$에 대해서 $f(x)$를 찾는게 아니라 일정한 제약 하의 $x$에 대해서 함수값을 찾는 것이다. 아래의 그림처럼 일정 지정 안에서 minimum을 찾는 것이다. indicator function을 사용해 contrained를 unconstrained로 바꾸어준다. (7.19)는 indicator function을 나타내고 여기서 $z$가 0보다 작거나 같으면 0이 되어서 식 (7.18)에서 $J$는 $f$와 같아져서 그 함수값을 최소화하면 되는 방향으로 가면 되는 것이고, $z$가 0보다 크면 목적함수 값이 무한대가 되어서 (7.18)을 .. 2020. 6. 9. Gradient Descent Method 모델 학습에 필요한 최적화에 대해 알아본다. 우리가 머신러닝 모델을 학습한다는 것은 주어진 데이터로 설명할 수 있는 목적함수를 기준으로 이 함수 값을 가장 작게 하는 모델 파라미터를 찾게하는 과정이다. 여기서는 목적함수 값을 최소화시켜주는 (최적화하는) 알고리즘에 대해 알아본다. unconstrained/constrained optimization 에 대해 알아보는데 우선 unconstrained optimization은 말 그대로 목적함수만 있고 어떠한 제약이 없는 경우를 말하며, constrained optimization은 목적함수가 있는데, 어떤 제약이 가지고 목적함수의 최적화문제를 푸는 것을 배운다. 아래의 그림에서 4차 polynomial 함수를 볼 수 있다. 변수는 $x$하나가 있고 함수값은.. 2020. 6. 9. Gaussian distribution 확률분포는 이산형 확률분포와 연속형 확률분포로 나뉜다고 얘기했는데, 각각 여러 분포들을 가지고 있지만, 그중에서도 연속형 확률분포에 속하는 Gaussian distribution , normal distribution이라고도 불리는 녀석에 대해 알아본다. 이 가우시안 분포는 상당히 많이 쓰이는 분포이다. 아래는 가우시안 분포의 density function 이다. 이 pdf 형태는 기억해두는게 좋다. 이 분포를 특징 짓기 위해서는 두 개의 모수가 필요한데, 평균과 분산이 바로 그것이다. 이것이 주어졌을 때, 임의의 변수 $x$가 위와 같은 가우시안 분포를 따른다면, 이 $x$의 $pdf$는 위처럼 앞에 상수가 곱해진 function으로 표현된다. 위의 가우스 분포는 univariate random var.. 2020. 6. 3. Singular Decomposition(2) SVD가 실제로 어떤 application에 사용되는지 예제를 통해 살펴보자. 추천시스템 설계의 기본적인 알고리즘으로 사용된다. 아래의 예시는 user x movie 행렬을 $A$ (4x3) 이라 할 때, 각 컬럼이 특정 유저가 4개의 영화에 대해 선호도를 rating한 행렬이다. 먼저 SVD에서의 $U, V^{T}$의 singularvector들이 어떤 의미를 갖는지부터 살펴보자. 주어진 (4x3)행렬은 $\Phi : \mathbb{R}^{3} \rightarrow \mathbb{R}^{4}$ 와 같은 linearmapping을 표현한다고 볼 수 있다. 3dim을 user space라 보고, 4dim 을 movie space라 볼 수 있다. 아래의 그림은 SVD한 결과이다. 가장 우변인 $V^{T}$에.. 2020. 5. 30. Singulardecomposition 이번 장에서는 특잇값분해 singulardecomposition을 알아본다. 앞서 고윳값분해에서는 square matrix에서만 정의될 수 있었고, 항상 존재하진 않았다. 또한 주어진 n x n 의 고윳값들이 linear independent해야 정의가 됐었다. 하지만 특잇값분해는 어떠한 형태의 matrix도 정의가능하고 항상 존재한다. SVD도 linear mapping과 연관지은 설명과, 직관적으로 어떤작용을 하는지 알아보자. $A = U \Sigma V^{T}$ 행렬곱으로 표현이 된다. matrix $\Sigma$의 $\sigma_{i}$ 값들을 singular value라고 한다. $\Sigma$ 행렬이 직사각행렬이기 때문에 $ii$를 벗어난 값들(off diagonal term)은 전부 0이다... 2020. 5. 30. 이전 1 2 3 다음 728x90 반응형
