Eigendecomposition

이번 장에선 행렬을 여러개의 행렬의 곱으로 decomposition하는 방법에 대해 알아본다. 먼저 Cholesky Decomposition에 대해 알아본다  행렬 $A$가 $LL^{T}$로 factorized로 가능하다는 것이다. 이 때 $L$은 lower-triangular matrix이고 positive diagonal elements이다. $L$은 $A$의 Cholesky factor라하고, $L$은 unique하다고 한다.

아래는 Cholesky decomposition의 예제이다.

 

결과적으로 앞서 계산된 $l$들을 가지고 순차적으로 element들을 연산해낼 수 있다는 것을 보여주는 것이다. 이점으로는 $A$의 determinant를 구한다고 한다면 $det(LL^{T})$는 $det(L)det(L^{T})$로 나타냄으로써 $\prod _{i}l_{ii}^{2}$ 가 되고결론적으로는 $def(L)^{2}$이 되게된다.

 

 

 

이제 eigendecomposition을 알아보기 전에 diagonal matrix와 similar matrix에 대한 정의를 살펴보자. diagonal matrix는 diagonal 원소에만 0이아닌 값이 존재하는 것으로 말한다. diagonal matrix는 determinant, powers, inverse 셋 다 쉽게 구할 수 있다.

 두 행렬 $A, D$가 있을 때, $P$라는 invertible matrix가 있고, $D = P^{-1}AP$로 표현되면 두 matrix는 similar하다고 한다. 이 때 $A$를 diagonalizable하다고 한다. 대각화를 할 수 있다는 뜻이다.

 

Diagonalizing matrix $A$라는 것은 $A$의 고윳값으로 구성된 기저들로 표현되는 또다른 기저들로 선형 매핑하는 것이라 할 수 있다.

 matrix를 diagonal matrix로 어떻게 바꿀 수 있을까? 

 

matrix $A$의 eigen value들을 diagonal element로 가지는 matrix $D$ 와 similar 한 $A$에 대해 알아본다.

$D = P^{-1}AP$ 에서 $P$가 역행렬을 가지므로 $AP = PD$와 같이 표현가능하다. 그리하여 (4.54)와 같이 $P$는 $A$의 고유벡터가 되어야한다는 결론이다.

이런 정리를 통해서 $A$라는 행렬을 (4.55)와 같은 형태로 decomposition 가능하게 된다. 그리고 symmetric matrix $S \in \mathbb{R}^{n \times n}$에 대해선 항상 diagonalized 가능하다.

 

 

그림을 통해서 eigen decomposition의 기하학적 의미를 알아보면 $A$는 $P^{-1}$행렬을 통해서 basis를 바꿔줄 수 있다. 그리고 diagonal matrix인 $D$를 통해서 각각의 basis에 대해 단순히 곱하기 scaling만 하게 되고 다시 $P$를 통해 basis를 변환해 주면서, $A$를 diagonalizing한 $PDP^{-1}$를 얻게 된다.

Eigen decomposition의 예제를 살펴보자.

Eigendecomposition한다는 건 결국 eigenvalue, eigenvector를 구하는 것과 같다고 할 수 있다. 우선 matrix $A$의 characteristic polynomial에 의해 고윳값을 1, 3이라는 것을 알 수 있고, 이 고윳값을 통해서 eigenvector를 구해보면 (4.58)과 같이 구할 수 있다.

두 고윳값을 합친 $P$ 는 (4.59)와 같다. $P$는 고유벡터이고 $D$는 고윳값이니 $PDP^{-1}$을  표현하면 (4.61)과 같다.

 

eigendecomposition을 통해 연산의 쉬워지는 효과를 볼 수 있는 2가지 사례가 아래에 (4.62), (4.63) 나와있다. 행렬의 exponent나 determinant 연산에 대한 내용이다. $A$의 거듭제곱은 eigendecomposition의 가운데 고유값행렬만 제곱해주면 된다는 것과 $A$의 determinant는 $D$의 determinant와 같다는 내용이다.