数值分析笔记（五）线性方程组解法

三角分解法
在这里插入图片描述

A的杜利特分解公式如下：
$\begin{aligned}&u_{1j}=a_{1j}\quad(j=1,2,\cdots,n),\\&l_{i1}=a_{i1}/u_{11}\quad(i=2,3,\cdots,n) ,\\&u_{kj}=a_{kj}-\sum_{m=1}^{k-1}l_{bm}u_{mj}\Rightarrow a_{kj}\quad(j=k,k+1,\cdots,n) ,\\&l_{ik}=\left(a_{ik}-\sum_{m=1}^{k-1}l_{in}u_{mk}\right)\Big/u_{kk}\Rightarrow a_{kk}\quad(i=k+1,k+2,\cdots,n)\\&(k=2,3,\cdots,n).\end{aligned}$

楚列斯基分解

对于n阶（n>1）对称正定矩阵，楚列斯基分解 $A=L*L^T$ ，是唯一的，即
$\begin{pmatrix}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\vdots&\vdots&&\vdots\\a_{n1}&a_{n2}&\cdots&a_{m}\end{pmatrix}=\begin{pmatrix}l_{11}\\l_{21}&l_{22}\\\vdots&\vdots&\ddots\\l_{n1}&l_{n2}&\cdots&l_{m}\end{pmatrix}\begin{pmatrix}l_{11}&l_{21}&\cdots&l_{n1}\\&l_{22}&\cdots&l_{n2}\\&&\ddots&\vdots\\&&&l_{m}\end{pmatrix},$
且
$\begin{aligned}&\begin{cases}l_{kk}&=\sqrt{a_{kk}-\sum_{m=1}^{k-1}l_{km}^2} ,\\l_{ik}&=\left(a_{ik}-\sum_{m=1}^{k-1}l_{im}l_{km}\right)/l_{kk}&(i=k+1,k+2,\cdots,n)\end{cases}\end{aligned}$

向量范数
$\begin{gathered} \parallel x\parallel_1=\sum_{i=1}^n\mid x_i\mid, \\ \parallel x\parallel_2=\sqrt{\sum_{i=1}^nx_i^2} , \\ \parallel x\parallel_\infty=\max_{1\leqslant i\leqslant n}\mid x_i\mid, \end{gathered}$
矩阵范数
$\begin{gathered} \parallel A\parallel_{1}=\max_{1\leqslant j\leqslant n}\sum_{i=1}^{n}\mid a_{ij}\mid, 列范数\\ \parallel A\parallel_{\infty}=\max_{1\leqslant i\leqslant n}\sum_{j=1}^{n}\mid a_{ij}\mid , 行函数\\ \parallel A\parallel_{2}=\sqrt{\lambda_{\max}(A^{\mathrm{T}}A)} , 谱范数\\ \parallel A\parallel_F=\sqrt{\sum_{i=1}^n\sum_{j=1}^na_{ij}^2}. F-范数 \end{gathered}$
矩阵A的条件数
$\mathrm{Cond}(A)=\parallel A^{-1}\parallel\parallel A\parallel$

简单迭代法

设有n阶线性方程组 $A x = b$ ， $A$ 为n阶非奇异矩阵， $A x = b$ 等价变形为 $x = B x + g$ ，给定初始向量 $x^{(0)}$ 可得到
$x^{(k+1)}=Bx^{(k)}+g\quad(k=0,1,\cdots)$
若向量序列收敛，其收敛的向量为原方程组的解。其收敛的充要条件是谱半径 $\rho(B) < 1$ .

如果在计算第 $i$ 个分量 $x_i^{(k+1)}$ ，前面的 $i - 1$ 个分量用最新的 $x_1^{(k+1)}$ ， $x_2^{(k+1)}$ …， $x_{i-1}^{(k+1)}$

而不是 $x_1^{(k)}$ ， $x_2^{(k)}$ ，…， $x_{i-1}^{(k)}$ ，则是简单迭代法对应的高斯-赛德尔迭代法。

当简单迭代法的迭代矩阵 $B$ 满足 $\parallel B\parallel_{1} < 1$ 或 $\parallel B\parallel_{\infty} < 1$ ，对应的对应的高斯-赛德尔迭代法关于任意初始向量收敛。

雅可比迭代法

设有n阶线性方程组 $A x = b$ ， $A$ 为n阶非奇异矩阵，且对角元 $a_{ii} \neq 0 (i=1,2,3,...,n)$

将A如下分解，A=L+D+U，即
$A=\begin{pmatrix}0\\a_{21}&0\\\vdots&\vdots&\ddots\\a_{n1}&a_{n2}&\cdots&0\end{pmatrix}+\begin{pmatrix}a_{11}\\&a_{22}\\&&\ddots\\&&&a_{nn}\end{pmatrix}+\begin{pmatrix}0&a_{12}&\cdots&a_{1n}\\&0&\cdots&a_{2n}\\&&\ddots&\vdots\\&&&0\end{pmatrix},$
$A x = b$ 等价于 $(L + D + U) x = b$ ,

整理得，
$x=-D^{-1}\left(L+U\right)x+D^{-1}b$
记 $B_J=-D^{-1}\left(L+U\right),g=D^{-1}b$ ，则构造公式
$x^{(k+1)}=B_Jx^{(k)}+g\quad(k=0,1,\cdotp\cdotp\cdotp)$
为雅可比迭代法，称
$B_J=-D^{-1}(L+U)=\begin{pmatrix}0&-\frac{a_{12}}{a_{11}}&\cdots&-\frac{a_{1n}}{a_{11}}\\\\-\frac{a_{21}}{a_{22}}&0&\cdots&-\frac{a_{2n}}{a_{22}}\\\vdots&\vdots&\ddots&\vdots\\\\-\frac{a_{n1}}{a_{nn}}&-\frac{a_{n2}}{a_{nn}}&\cdots&0\end{pmatrix}$
为雅可比矩阵。