Linear algebra and linear system - Eigenvectors and Diagonalization

Generalized Eigenvector and Jordan Block

A행렬이 있을때 100제곱을 한다고 생각했을때 실제 행렬연산을 한다면 많은 시간과 노력이 필요하다. 하지만 A행렬이 대각화 가능하다면 대각행렬만 제곱하면 되는데 이로 인해 많은 부분의 연산이 쉽게 이뤄질 수 있다.

하지만 고유값이 중복되어 고유벡터가 부족하면 행렬을 대각화 할 수 없다. 그래서 사용하는것이 바로 Jordan form으로 최대한 대각화 모양으로 만드는 것이다.

먼저 대수적 중복도(algebric multiplicity)와 기하적 중복도(geometric multiplicity)는 다음과 같다.

{ $x:(A-\lambda_iI)^kx=0, k\geqslant0$ } 다음과 같은 집합을 Generalized Eignespace라고 하고 dim{ $x:(A-\lambda_iI)^kx=0, k\geqslant0$ } $=m_i$ 가 된다.

정의는 다음과 같다.

V라는 vector를 generalized eigenvector에서 고르고 정수 k승을 했을때 0으로 만들어 주고 k-1승을 했을때 0이 아니게 되는 v를 generalized eigenvector of grade k 라 한다.

chain of generalized eigenvector

v : generalized eigenvector of grade k

$V_{k-1}:=(A-\lambda I)V_k$ 　　generalized eigenvector of grade k-1 $V_{k-2}:=(A-\lambda I)^2V_k$　generalized eigenvector of grade k-2 　　　　　　$\vdots$　　　　　　　　　　　　　　　$\vdots$ $V_{1}:=(A-\lambda I)^{k-1}V_k$　　　generalized eigenvector of grade 1 (eigenvector)

chain of eigen vector들은 서로 선형 독립이다.

{ $v_1,v_2, \cdots ,v_k $ } : independent

pf) 　　$\alpha_1v_1+\cdots+\alpha_kv_k =0$ $(A-\lambda I)^{k-1}$ 를 곱하면 $v_1, v_2 \cdots v_{k-1}$ 은 전부 0이 된다. 다시 표현하면 $0+0+\cdots+a_k(A-\lambda I)^{k-1} v_k = 0$ 가 되므로 $a_k$가 0이 라는것을 알 수 있다.

마찬가지로 $(A-\lambda I)^{k-2}$ 를 곱하면 $a_{k-1}$ 이 0이라는 것을 알 수 있고 결국 선형독립임을 알 수 있다.

$A\in R^{n\times n}$ 가 n번 중첩되는 eigen value $\lambda$ 를 가진다면 대수적 중복도 m = n이다. 기하적 중복도는 1이라고 가정한다.

generalized eigenspace { $x:(A-\lambda I)^{\eta}x=0$ } 에서 grade가 $\eta$ 인 generalized eigenvector $v_\eta$를 찾고 chain of generalized eigenvector를 다 구해서 $v_1$까지 구했다고 한다면 다음을 만족한다.

$v_{n-1}=(A-\lambda I)v_n \implies Av_n=\lambda v_n+v_{n-1}$ $v_{n-2}=(A-\lambda I)v_{n-1} \implies Av_n=\lambda v_{n-1}+v_{n-2}$ 　　　　　　$\vdots$ $v_1=(A-\lambda I)v_2\implies Av_2=\lambda v_2+v_1$ 　　　　　　　　　　　　　　　$Av_1=\lambda v_1 $

행렬식으로 표현하면

제일 우측 행렬을 Jordan block이라 한다.

A행렬에서 eigen vector는 한 개밖에 못 찾음에도 불구하고 generalized eigen vector를 chain 형태로 잡으면 Jordan block과 같은 형태를 얻을 수 있다.

기하적 중복도를 2라고 가정한다면 두개의 chain을 만드는 것이 효과적이다.

처럼 두개의 chain을 생각하면 행렬식은 다음과 같이 생각할 수 있다.

$k \times k$ block(파란색)과 $q \times q$ block(빨강)으로 나뉘는 것을 확인할 수 있다.

Chain of Generalized Eigenvector

generalized eigenvector의 chain을 찾는 방법에 대해서 알아본다.

buttom up

$N(A-\lambda I)\ni v_1$ 　$v_1$ 은 eigen vector

$(A-\lambda I)v_2=v_1$를 만족하는 $v_2$를 찾는다.

$(A-\lambda I)v_3=v_2$ 를 만족하는 $v_3$를 찾는다. …

좋은 방식은 아니다.

$(A-\lambda I)$ 는 determinant가 0인 상태 즉 rank가 떨어진 singular한 행렬이라서 항상 $v_2$ 를 찾을 수 없다.

Top down

$N(A-\lambda I)^0 \subset N(A-\lambda I)^1 \subset \cdots \subset N(A-\lambda I)^\eta = N(A -\lambda I)^{\eta+1}$

$N(A-\lambda I)^0$ 은 {0} vector가 하나 있는 공간, 0차

$N(A-\lambda I)^1$ 은 eigen space이고 안에 속하는 vector는 다 eigen vector가 되고 dimension $\nu$은 기하적 중복도가 됩니다.

$N(A-\lambda I)^\eta$는 차수가 index이므로 generalized eigenspace이고 dimension $\nu$는 대수적 중복도가 됩니다.

dimension의 차이를 $\mu$로 정의합니다.

$N(A-\lambda I)^0,N(A-\lambda I)^1$ 의 dimension차이는 $\mu_1$

$N(A-\lambda I)^1,N(A-\lambda I)^2$ 의 dimension차이는 $\mu_2$

　　$\vdots$

$N(A-\lambda I)^{\eta-1},N(A-\lambda I)^{\eta}$ 의 dimension차이는 $\mu_{\eta}$ 로 정의합니다.

각각의 space 에서 선형독립인 vector를 $\nu$ 개 만큼 꺼낸다

{ $u_{11},u_{12} \cdots u_{1\mu_1},u_{21},u_{22}\cdots u_{2\mu_2},u_{\eta1} \cdots u_{\eta \mu_\eta}$ }

{ $ u_{11},u_{12} \cdots u_{1\mu_1} $ } 는 eigen vector이고 나머지는 generalized eigenvector 가 되고 chain관계에 있지는 않습니다.

Jordan form으로 바꿔주기 위해서 chain관계가 필요하고 Top down으로 u를 v로 바꿔줍니다.

$v_{\eta 1}=u_{\eta 1}$

$v_{\eta 2}=u_{\eta 2}$

　　$\vdots$

$v_{\eta \mu_\eta}=u_{\eta \mu_\eta}$

$v_{(\eta-1)1}=(A-\lambda I)v_{\eta 1 }$

$v_{(\eta-1)2}=(A-\lambda I)v_{\eta 2 }$

　　$\vdots$

$v_{(\eta-1)\mu_\eta}=(A-\lambda I)v_{\eta \mu }$

$u_{(\eta-1)1} \cdots$ 대신에 $v_{(\eta-1)1} \cdots$를 사용하면 다음과 같이 표현됩니다.

{ $ u_{11} ,u_{12} \cdots u_{(\eta-2)\mu_{(\eta-2)}},v_{(\eta-1)1},v_{(\eta-1)2} ,\cdots, v_{(\eta-1)\mu_\eta} $ } 위 집합은 선형독립입니다.

pf)

선형종속이라고 가정한다면 빨간선 부분에 모든 $\alpha$가 0이 되므로 모순이 됩니다. 파란선에 있는 부분은 처음에 독립으로 선택했기 때문에 선형종속이 될 수 없고 따라서 빨간선이 있는 부분에서 0이 아닌 $\alpha$를 가질 수 밖에 없습니다.

위 식을 다시 정리하면 $\alpha_{11}u_{11} + \cdots + \alpha_{\eta-2\mu_{\eta-2}}u_{\eta-2\mu_{\eta-2}}=-\alpha_{(\eta-1)1}v_{(\eta-1)1}\cdots$ 가 되고

$(A-\lambda I)^{\eta-2}v_{(\eta-1)1} = (A-\lambda I)^{\eta-1}v_{\eta1}\ne 0$ 을 만족하기 때문에 양변에 $(A-\lambda I)^{\eta-2}$ 를 곱하고 - 부호를 없애주면 다음과 같이 표현됩니다.

$0=(A-\lambda I)^{\eta-1}$ { $ \alpha_{(\eta-1)1}v_{\eta 1}+\alpha_{(\eta-1)2}v_{\eta2}+\cdots $ }

중괄호 안에있는 vector들은 $N(A-\lambda I)^\eta$ 에 속하기 때문에 $(A-\lambda I)^{\eta-1}$을 곱해도 0이 되지 않습니다. 따라서 선형 독립이 됨을 알 수 있습니다.

또한 $u_{(\eta-1)1} \cdots u_{(\eta-1)\mu_{(\eta-1)}}$ 이 $v_{(\eta-1)1} ,\cdots, v_{(\eta-1)\mu_\eta}$ 로 대체되었기 때문에 $\mu_{\eta-1}\ge\mu_\eta$ 를 의미합니다.

$\mu_{\eta-1}\ge\mu_\eta$를 만족하기 때문에 $u_{(\eta-1)1} \cdots u_{(\eta-1)\mu_{(\eta-1)}}$ 을 $v_{(\eta-1)1} ,\cdots, v_{(\eta-1)\mu_\eta}$ 로 치환하기에는 개수가 부족할 수 있습니다.

그때는 $N(A-\lambda I)^{\eta-1}$ 에서 $v_{(\eta-1)\mu_{(\eta+1)}} ,\cdots, v_{(\eta-1){(\mu_\eta-1)}}$ 만큼 추가해줄 수 있습니다.

{ $ v_{(\eta-1)1} ,\cdots, v_{(\eta-1)\mu_\eta},v_{(\eta-1)\mu_{(\eta+1)}} ,\cdots, v_{(\eta-1){(\mu_\eta-1)}} $ } 은 $N(A-\lambda I)^{\eta-1}$에는 속하지만 $N(A-\lambda I)^{\eta-2}$ 에는 속하지 않기 때문에 $(A-\lambda I)$ 를 곱해서 개수만큼 $v_{(\eta-2)}$ 를 다음과 같이 정의할 수 있습니다.

$v_{(\eta-2)1}=(A-\lambda I)v_{(\eta-1)1}$

전체 set을 살펴보면

$v_{\eta1} \cdots v_{\eta \mu_\eta} $

$v_{(\eta-1)1} \cdots v_{(\eta-1) \mu_\eta}$ { $ v_{(\eta-1) \mu_{\eta+1}}\cdots $ }

　　$\vdots$ 　　　　　$\vdots$　　　　　　$\vdots$

$v_{11}$　　　$v_{1\mu_\eta}$　　　　　$v_{1\mu_{\eta+1}}$

이 전체 set은 generalized eigen space에 속하는 g개의 eigen vector들과 chain의 모양을 갖고있는 generalized eigen vector들을 찾은 것이고 전체 vector의 수는 m개 입니다.

$\lambda_i$ 가 하나 정해지면 그 eigen value에 해당하는 generalized eigen space가 있고 그 안에서 독립인 vector를 chain의 형태로 찾는법을 배웠습니다.

서로 다른 eigen value에 해당하는 모든 vector들을 다 모아도 독립이다.

$\alpha_{111}v_{111}$ 은 첫번째 eigen value에 해당하는 1 grade의 첫번째 eigen vector를 의미한다.

$\alpha_{111}v_{111} + \alpha_{112}v_{112} + \cdots + \alpha_{1\eta1}v_{1\eta_11} + \cdots \alpha_{211}v_{211} + \cdots =0$ 의 독립을 확인하기위해 $(A-\lambda_2 I)^{\eta2}(A-\lambda_2 I)^{\eta3}\cdots(A-\lambda_d I)^{\eta d}(A-\lambda_1 I)^{\eta_1-1}$ 을 곱합니다.

나머지 부분은 다 0이되고 $\eta_1$에 해당하는 v만 남게 됩니다. $(A-\lambda_1 I)^{\eta_1-1}v_{1\eta_11}=v_{111}$ 즉 eigen vector가 됩니다.

$(A-\lambda_d I)^{\eta_d}v=(\lambda_1-\lambda_d)^{\eta_d}v$ 가 되므로 $\eta_1$에 해당하는 v는 $\alpha_{1\eta1}(\lambda_1-\lambda_2)^{\eta_2}(\lambda_1-\lambda_3)^{\eta_3}\cdots v=0$ 가 됩니다. $\alpha_{1\eta1}$이 0이됨을 알 수 있고 $\eta_1-1$을 $\eta_1-2$로 낮추고 곱하고 반복하면 모든 $\alpha$ 가 0이 됨을 알 수 있습니다.