Krylov子空间方法

Krylov子空间方法

Krylov子空间方法

Krylov子空间方法（Krylov Subspace Methods）是一类用于求解大型稀疏线性方程组 $Ax = b$ 的迭代算法家族，是20世纪最伟大的算法之一。其核心思想是：方程的解（或近似解）隐藏在一个由初始残差向量不断乘以矩阵A生成的向量序列所张成的低维子空间中，从而实现"降维打击"。

核心原理

Krylov子空间定义为：

$$\mathcal{K}_m(A, r_0) = \text{span}{r_0, Ar_0, A^2r_0, \dots, A^{m-1}r_0}$$

其中 $r_0 = b - Ax_0$ 是初始残差。矩阵A代表系统中信息的传递规律，每次乘以A相当于在网络中把信息向外扩散一圈。Krylov子空间包含了"经过m步扩散后所能收集到的所有可能信息"。

算法家族

矩阵类型 推荐算法 特点
对称正定（SPD） [[共轭梯度法（CG）]] 最经典，收敛快，内存省
对称不定 MINRES / SYMMLQ 处理不定矩阵的变体
非对称 GMRES 广义最小残差，收敛稳定
非对称（双正交） BiCGSTAB 稳定双共轭梯度，内存更省

关键人物

  • [[阿列克谢·克雷洛夫]] — 1931年提出Krylov子空间的降维思想
  • [[科内利乌斯·兰乔斯]] — 提出Lanczos正交化算法，解决数值不稳定性
  • [[马格努斯·赫斯提尼斯]] 与 [[爱德华·施蒂费尔]] — 1950年共同发明共轭梯度法

应用领域

  • [[有限元分析]]（FEA）：航空航天与汽车制造的碰撞测试和应力分析
  • [[计算流体力学]]（CFD）：气象预报和流体力学模拟
  • [[PageRank]]：Google网页排名算法的核心特征值求解
  • 医疗影像（MRI & CT重建）：大型病态逆问题的求解
  • 深度学习优化：二阶优化方法（L-BFGS、自然梯度）的近似求解

参考资源

  • Saad, Y. (2003). Iterative Methods for Sparse Linear Systems (2nd ed.). SIAM.
  • PETSc: https://petsc.org/
分享到