Linear Algebra(3)

이번 장에서는 Linear independence (선형)이 무엇인지 알아보자. 우선 linear combination을 살펴보자. 선형결합은 아래의 정의처럼 벡터 공간 $V$ 와 $V$에 속하는 유한개의 벡터들($x_{1}, ... , x_{k}$)이 있다면, $v = \lambda_{1} x_{1} + \cdot \cdot \cdot + \lambda_{k}x_{k} =  \sum^{k}_{i=1} \lambda_{i}x_{i}$ 일 때 모든 $v \in V$ 를 만족한다.

 

설형결합 속 벡터와의 곱을 이루는 상수 $\lambda$들은 모두 실수집합에 속한다. 

즉, $V$ 안의 $v$들의 선형결합은 상수와 벡터들의 곱으로 또 하나의 $v$를 만든다.

 

영벡터는 항상 $k$개의 벡터들의 선형결합으로 이루어질 수 있다.

 

$\underset{0}{\rightarrow} = \sum^{k}_{i=1} \lambda_{i}x_{i} $ 에서 $\lambda$가 모두 0이면 반드시 0벡터가 되기 때문이다. 여기서 전부 0이 아니고도 만약 영벡터를 만들어 낼 수 있다면 그것은 linear dependence 이고 꼭 전부 0이어야 한다면 linear independence라고 한다. $k$개의 벡터들은 반드시 독립이거나 종속 둘 중 하나로 나뉜다.

 

어떻게 벡터가 선형독립인지 알 수 있을까?

Gaussian elimination을 사용하여 구별한다.

 * 모든 컬럼이 피벗 컬럼이면 모든 컬럼 벡터들은 선형 독립이다.

 

예제를 통해 알아보자.

위의 3개의 벡터가 서로 선형독립인지 종속인지 알 수 있는 방법은 앞서 말했던 것 처럼 이들을 통해 가우스 소거법을 통해 모든 열이 피벗컬럼인지 확인하면 된다.

 

즉 위의 식처럼 이들의 선형결합을 통해서 0벡터를 만드는데 있어서 $\lambda$가 모두 0이어야한다면 선형독립이고, 그렇지 않아도 될 경우 선형종속으로 판단한다. 

 

homogeneous system 형태로 행렬을 콤팩트하게 변형한 후 가우스 소거법을 진행하면 위와 같이 모든 컬럼이 피벗 컬럼인 것을 알 수 있기 때문에 위의 세 벡터는 선형독립이라고 할 수 있게 된다. 모든 컬럼이 피벗 컬럼이라는 소리는 $\lambda_{1}, \lambda_{2}, \lambda_{3}$이 모두 0이어야만 (2.68) 식을 만족할 수 있다는 것이다. 

 

아래의 문제는 이렇다. 예를 들면 벡터 $x$을 벡터$b$들의 선형결합으로 표현한 것이다. 이 때 벡터 $b$들은 선형독립인 벡터들이다. 이 경우 $x$들은 선형 독립인가?

 

(2.73)을 위의 식으로 변형할 수 있다. 이 때 가운데 (4 x 4)행렬의 컬럼이 전부 피벗 컬럼이면 벡터$b$들이 전부 0 벡터여야 선형결합 결과 0이라는 식을 만족시킬 수 있다는 사실을 알면 된다.

 

가운데 행렬 역시 이전 처럼 가우스 소거법으로 reduced row-echelon form을 만들어보자.

아 글씨가 엉망이어서 올리는 것 자체가 꺼려지지만. 아무튼.

컬럼 3개가 피벗 컬럼인것이 보이고 4번째 컬럼은 피벗컬럼이 아닌 것을 확인한다. 이에 $x_{4} = -7x_{1} -15x_{2} +37x_{3} $으로 나타낼 수 있다. $x_{4}$가  $x_{1}, x_{2}, x_{3}$의 선형 결합으로 표현될 수 있기 때문에 이 벡터들은 선형종속이라고 할 수 있다.

 이렇기 때문에 모든 컬럼이 피벗컬럼이어야 벡터들이 선형독립이라고 할 수 있게 되는 것이다.

 

 

Basis and Rank 에 대하여 알아보자.

 

우선 Generating Set 과 Span의 정의를 살펴보자.

 

교재에는 위와 같이 정의하고 있다. 요약해보면 벡터 공간 $V$ 속에 위치한 $A$라는 벡터집합은 $\left \{x_{1} , ... , x_{k}  \right \}$로 구성되어 있다. 이 때 이 $x$들의 선형결합으로 $V$ 가 가진 모든 벡터$v$ 를 표현할 수 있다면 $A$를 $V$의 generating set 이라고 한다. 

 그리고 $A$의 모든 선형결합 벡터들의 집합을 $A$의 $span$이라고 한다.

$A$가 벡터 $V$에 $span$한다고 하면 $V = span[A]$ 또는 $V = span[x_{1}, ... ,x_{k}]$로 표기할 

수 있다.  누군가의 generating set은 span이라는 것이다.

 

Basis의 정의는 다음과 같다.

$V$를 $span$하는 generating set이 있는데, 가장 작은 경우에 generating set $A$를 minimal하다 말한다. generating set들이 서로 선형독립이면, 이때 $V$의 basis 라고 한다.

어떤 벡터 공간 $V$ basis 는 벡터 스페이스를 가장 콤펙트하게 표현한 것이라고 할 수 있다.

 

 

 

3번째 네모 같은 경우는 $V$에 선형독립인 벡터들을 뽑을 때 최대한 많은 수의 선형독립인 벡터로 구성된 집합이라는 것을 의미한다. 즉, $V$에 있는 임의의 원소를 $B$셋 안에 포함시키는 순간 선형종속이 되어버린다.

 

 

 

(2.78)과 같은 경우를 canonical/standard basis 라고 한다. 이러한 basis 는 (2.79)처럼 다르게 표현도 가능하다. 

 

(2.80)의 내용은 $A$ 벡터 셋이 선형독립이지만 $ \mathbb{R}^{4}$의 generating set, basis가 아니라는 내용인데, $A$ 벡터 셋의 선형결합으로 $ \mathbb{R}^{4}$의 벡터 $[1,0,0,0]^{T}$를 나타낼 수 없기 때문이다.

 

 

*모든 벡터는 하나 이상의 basis를 갖는다. 또한 그 basis가 유일한 basis는 아니다. 하지만 bases들은 basis벡터들의 원소의 개수 만큼 존대한다.

 

*유한 차원의 벡터공간 $V$에 대해 $V$의 차원은 $V$의 basis 벡터 수와 동일하다.

 

 

 

서브 스페이스 $U$의 basis를 어떻게 찾을 수 있을까. $U$를 이루는 벡터들의 선형독립인 벡터들만 뽑아주면 된다(minimal한 set을 뽑아줌.). 그러기 위해서를 가우스 소거법을 통해 row-echelon form으로 만들어 주어야 한다.

 

1. 어떤 매트릭스 $A$를 컬럼들로 콤팩트하게 표현을 해주고,

2. row-echelon form형태로 만들어준다.

3. pivot columns가 $U$의 basis가 된다.

 

 

 

 

예제를 통해 위의 스텝을 적용해볼 수 있다. 서브 스페이스 $U$가 위의 네 개의 $x$벡터들에 의해 $span$된다고 한다. $span$된다는 말은 곧 선형결합으로 $U$의 모든 벡터들을 나타낼 수 있다는 것이다. 이에 우리는 $U$의 basis를 알고 싶다. 

 $x$을 가지고 가우스소거법을 거쳐 피벗 컬럼을 뽑으면 된다.

 

최종적으로 linear independent한 $\left \{x_{1},x_{2},x_{4} \right \}$ 들이 실제로 $U$의 basis를 이루고 있다.

 

 

 

Rank의 정의에 대해 알아보자.

 

$rk(A)$라는 것은 행렬 $A$의 선형 독립인 열들의 개수와 같다. 즉, 이러한 열들로 생성할 수 있는 벡터공간의 차원을 의미한다. 

 

* 선형독립인 행개수와 선형독립인 열개수가 같을 경우 전치를 해도 랭크의 수가 같다.

* 행렬 $A$의 선형독립인 열벡터들로 sub space $U$를 span(선형결합으로 $U$의 벡터들을 전부표현)한다면 $U$의 차원의 개수와 $A$의 랭크(선형독립열개수)와 같다.

* 위의 말에서 열을 행으로 바꾸어 생각하면 된다. 즉, 행에서 선형독립인 벡터와 열에서 선형독립인 벡터를 각각 row, column으로 보겠다는 것이다.

* 정방행렬의 경우 역행렬을 가진다면 행렬 $A$의 랭크는 정방행렬의 차원 n이 된다.

* $Ax = b$라는 non-homogeneous system을 풀었을 때 rank와 $(A | b)$라는 augmented system을 풀었을 때 rank가 같으면 해가 존재하고 그렇지 않으면 존재하지 않는다.

* $Ax = 0$ homogeneous system은 $n - rk(A)$ 의 해를 갖는다. 추후에 kernel과 null space를 볼 때 알게된다..

* full rank라는 것은 선형독립 행벡터수와 선형독립인 열벡터수 중 적은 것을 말한다.

 

 

두 개의 예제를 보자. 

위의 예제는 피벗 컬럼이 2개이므로 랭크가 2가 된다.

 

 

 

마찬가지 피벗 컬림이 2개 이므로 랭크가 2가 된다.