免费中英文网站模板天门市住房和城乡建设网站

免费中英文网站模板,天门市住房和城乡建设网站,什么免费网站可以链接域名,大数据精准营销如何做一、背景与动机#xff08;为什么要用舒尔补#xff09; 在处理分块矩阵#xff08;block matrix#xff09;时#xff0c;经常需要“消去”某个分块#xff0c;从而把问题降为对较小矩阵的运算。舒尔补提供了把一个 222\times222 分块矩阵的逆、行列式、正定性等性质归结…一、背景与动机为什么要用舒尔补在处理分块矩阵block matrix时经常需要“消去”某个分块从而把问题降为对较小矩阵的运算。舒尔补提供了把一个2×22\times22×2分块矩阵的逆、行列式、正定性等性质归结到其一个分块及其所谓“补矩阵”的工具。它在线性代数、数值求解高效求解线性方程、统计高斯条件分布与边缘化、优化半正定规划、图模型与控制中被广泛使用。二、定义设矩阵分块如下矩阵元域为实数或复数M[ABCD], M \begin{bmatrix} A B \\ C D \end{bmatrix},M[AC​BD​],其中AAA为n×nn\times nn×n方块DDD为m×mm\times mm×m方块BBB为n×mn\times mn×mCCC为m×nm\times nm×n。若AAA可逆则称SD∣A:D−CA−1B S_{D|A} : D - C A^{-1} BSD∣A​:D−CA−1B为以AAA为主块的舒尔补Schur complement也常记作M/AM/AM/A或D−CA−1BD - C A^{-1} BD−CA−1B。若DDD可逆则称SA∣D:A−BD−1C S_{A|D} : A - B D^{-1} CSA∣D​:A−BD−1C为以DDD为主块的舒尔补常记作M/DM/DM/D或A−BD−1CA - B D^{-1} CA−BD−1C。注上下标或竖线表示“消去”哪个主块例如SD∣AS_{D|A}SD∣A​表示“相对于AAA的DDD的舒尔补”。三、块矩阵求逆Schur 补的基本恒等式若AAA可逆且舒尔补SD∣AS_{D|A}SD∣A​也可逆则分块逆的公式为M−1[ABCD]−1[A−1A−1BSD∣A−1CA−1−A−1BSD∣A−1SD∣A−1CA−1SD∣A−1].(1) M^{-1} \begin{bmatrix} A B\\ C D \end{bmatrix}^{-1} \begin{bmatrix} A^{-1} A^{-1} B S_{D|A}^{-1} C A^{-1} - A^{-1} B S_{D|A}^{-1} \\ S_{D|A}^{-1} C A^{-1} S_{D|A}^{-1} \end{bmatrix}. \tag{1}M−1[AC​BD​]−1[A−1A−1BSD∣A−1​CA−1SD∣A−1​CA−1​−A−1BSD∣A−1​SD∣A−1​​].(1)相对对称地若DDD可逆且SA∣DS_{A|D}SA∣D​可逆也有M−1[SA∣D−1−SA∣D−1BD−1D−1CSA∣D−1D−1D−1CSA∣D−1BD−1].(2) M^{-1} \begin{bmatrix} S_{A|D}^{-1} - S_{A|D}^{-1} B D^{-1} \\ D^{-1} C S_{A|D}^{-1} D^{-1} D^{-1} C S_{A|D}^{-1} B D^{-1} \end{bmatrix}. \tag{2}M−1[SA∣D−1​D−1CSA∣D−1​​−SA∣D−1​BD−1D−1D−1CSA∣D−1​BD−1​].(2)推导基于分块乘法与代数消去从定义MM−1IM M^{-1} IMM−1I设M−1[XYZW], M^{-1} \begin{bmatrix} X Y \\ Z W \end{bmatrix},M−1[XZ​YW​],则由块乘法得到线性方程组{AXBZI,AYBW0,CXDZ0,CYDWI. \begin{cases} AX BZ I, \\ AY BW 0, \\ CX DZ 0, \\ CY DW I. \end{cases}⎩⎨⎧​AXBZI,AYBW0,CXDZ0,CYDWI.​假定AAA可逆。由第三式CXDZ0CX DZ 0CXDZ0得CZ−CX⟹Z−D−1CX若 D 可逆, CZ -CX \quad\Longrightarrow\quad Z -D^{-1} C X \quad\text{若 $D$ 可逆},CZ−CX⟹Z−D−1CX若D可逆,但更直接的消去法从第一式解XXX以ZZZ表示并将XXX代入第三式可以得到关于ZZZ的方程。更标准的做法是如下从第三式解出ZZZ为Z−D−1CXZ -D^{-1} C XZ−D−1CX需要D−1D^{-1}D−1不方便。取另一条路径从第一式写出AXI−BZ⟹XA−1−A−1BZ. AX I - BZ \quad\Longrightarrow\quad X A^{-1} - A^{-1} B Z.AXI−BZ⟹XA−1−A−1BZ.代入第三式:C(A−1−A−1BZ)DZ0 C(A^{-1} - A^{-1} B Z) D Z 0C(A−1−A−1BZ)DZ0整理得(D−CA−1B)Z−CA−1. \big( D - C A^{-1} B \big) Z - C A^{-1}.(D−CA−1B)Z−CA−1.若SD∣AD−CA−1BS_{D|A} D - C A^{-1} BSD∣A​D−CA−1B可逆则Z−SD∣A−1CA−1. Z - S_{D|A}^{-1} C A^{-1}.Z−SD∣A−1​CA−1.再代回得到XA−1A−1BSD∣A−1CA−1, X A^{-1} A^{-1} B S_{D|A}^{-1} C A^{-1},XA−1A−1BSD∣A−1​CA−1,类似地可推导YYY与WWW从而得到公式 (1)。上述步骤严格且直接体现了舒尔补的概念在“消去”AAA之后剩下的等价线性系统涉及的矩阵正是SD∣AS_{D|A}SD∣A​。四、行列式与舒尔补的恒等式若AAA可逆则det⁡(M)det⁡(A)det⁡(D−CA−1B)det⁡(A)det⁡(SD∣A).(3) \det(M) \det(A)\det\big( D - C A^{-1} B \big) \det(A)\det(S_{D|A}). \tag{3}det(M)det(A)det(D−CA−1B)det(A)det(SD∣A​).(3)对称地若DDD可逆则det⁡(M)det⁡(D)det⁡(A−BD−1C)det⁡(D)det⁡(SA∣D).(4) \det(M) \det(D)\det\big( A - B D^{-1} C \big) \det(D)\det(S_{A|D}). \tag{4}det(M)det(D)det(A−BD−1C)det(D)det(SA∣D​).(4)推导基于块上三角化把MMM分解为块下三角乘以块上三角块 Gaussian 消元[ABCD][I0CA−1I][AB0SD∣A], \begin{bmatrix} A B \\ C D \end{bmatrix} \begin{bmatrix} I 0 \\ C A^{-1} I \end{bmatrix} \begin{bmatrix} A B \\ 0 S_{D|A} \end{bmatrix},[AC​BD​][ICA−1​0I​][A0​BSD∣A​​],两边取行列式利用det⁡(I)1\det(I)1det(I)1, 以及det⁡\detdet的乘积性质得到 (3)。基于块高斯消元的构造性推导从消去CCC出发从原矩阵M[ABCD], M \begin{bmatrix} A B \\ C D \end{bmatrix},M[AC​BD​],目标是通过左乘一个下三角块矩阵将其化为上三角形式从而得到LULULU分解。构造如下下三角矩阵L−1[I0−CA−1I]. L^{-1} \begin{bmatrix} I 0 \\ -C A^{-1} I \end{bmatrix}.L−1[I−CA−1​0I​].注意L−1L^{-1}L−1是可逆的下三角且对角为单位元其逆恰为L(L−1)−1[I0CA−1I]. L (L^{-1})^{-1} \begin{bmatrix} I 0 \\ C A^{-1} I \end{bmatrix}.L(L−1)−1[ICA−1​0I​].现在左乘L−1L^{-1}L−1消去CCCL−1M[I0−CA−1I][ABCD][AB−CA−1AC−CA−1BD]. L^{-1} M \begin{bmatrix} I 0 \\ -C A^{-1} I \end{bmatrix} \begin{bmatrix} A B \\ C D \end{bmatrix} \begin{bmatrix} A B \\ -C A^{-1}A C -C A^{-1} B D \end{bmatrix}.L−1M[I−CA−1​0I​][AC​BD​][A−CA−1AC​B−CA−1BD​].简化得到L−1M[AB0D−CA−1B][AB0SD∣A]U. L^{-1} M \begin{bmatrix} A B \\ 0 D - C A^{-1} B \end{bmatrix} \begin{bmatrix} A B \\ 0 S_{D|A} \end{bmatrix} U.L−1M[A0​BD−CA−1B​][A0​BSD∣A​​]U.于是重排可得所需分解MLU. M L U.MLU.这一过程即为对第一列块做一次块 Gaussian 消元用第 1 块行消去第 2 块行的左下块从而得到上三角块矩阵UUU同时左侧的消元矩阵的逆即为LLL。对存在性与可逆性的说明该构造要求AAA可逆以便定义A−1A^{-1}A−1。若AAA不可逆但DDD可逆可采用对称方法先以DDD为主块消去获得另一种LULULU分解交换角色。若AAA与SD∣AS_{D|A}SD∣A​都可逆则LLL与UUU都可逆从而MMM可逆且可据此得到M−1U−1L−1M^{-1}U^{-1} L^{-1}M−1U−1L−1并由上节的直接推导推得分块逆公式。推论行列式因子化简单而重要的结果由分解MLUM L UMLU且LLL为单位下三角块矩阵对角块均为III故det⁡(L)1\det(L)1det(L)1因此det⁡(M)det⁡(L)det⁡(U)1⋅det⁡(U). \det(M) \det(L)\det(U) 1 \cdot \det(U).det(M)det(L)det(U)1⋅det(U).而上三角块矩阵UUU的行列式等于对角块行列式的乘积det⁡(U)det⁡(A)det⁡(SD∣A). \det(U) \det(A)\det\big(S_{D|A}\big).det(U)det(A)det(SD∣A​).于是得出常用恒等式det⁡(M)det⁡(A)det⁡(D−CA−1B). \det(M) \det(A)\det\big(D - C A^{-1} B\big).det(M)det(A)det(D−CA−1B).五、正定性PSD/PD与舒尔补舒尔补与对称正定symmetric positive definiteSPD有密切关系。设MMM为对称块矩阵方域为R\mathbb{R}RM[ABB⊤D], M \begin{bmatrix} A B \\ B^\top D \end{bmatrix},M[AB⊤​BD​],其中AAA与DDD对称。则以下等价关系成立假设AAA可逆M≻0M \succ 0M≻0即MMM正定当且仅当A≻0A \succ 0A≻0且SD∣AD−B⊤A−1B≻0S_{D|A} D - B^\top A^{-1} B \succ 0SD∣A​D−B⊤A−1B≻0。对称地假设DDD可逆M≻0M \succ 0M≻0当且仅当D≻0D \succ 0D≻0且SA∣DA−BD−1B⊤≻0S_{A|D} A - B D^{-1} B^\top \succ 0SA∣D​A−BD−1B⊤≻0。证明要点用二次型对任意向量(x,y)(x,y)(x,y)有[x⊤y⊤][ABB⊤D][xy]x⊤Ax2x⊤Byy⊤Dy. \begin{bmatrix} x^\top y^\top \end{bmatrix} \begin{bmatrix} A B \\ B^\top D \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} x^\top A x 2 x^\top B y y^\top D y.[x⊤​y⊤​][AB⊤​BD​][xy​]x⊤Ax2x⊤Byy⊤Dy.令x′xA−1Byx x A^{-1} B yx′xA−1By化简可得x⊤Ax2x⊤Byy⊤Dyx′⊤Ax′y⊤(D−B⊤A−1B)y. x^\top A x 2 x^\top B y y^\top D y {x}^\top A x y^\top (D - B^\top A^{-1} B) y.x⊤Ax2x⊤Byy⊤Dyx′⊤Ax′y⊤(D−B⊤A−1B)y.因此若A≻0A \succ 0A≻0, positivity of the whole quadratic form for all(x,y)(x,y)(x,y)is equivalent toSD∣A≻0S_{D|A} \succ 0SD∣A​≻0.六、舒尔补在求解线性系统中的作用消去与分块求解考虑线性系统[ABCD][xy][fg]. \begin{bmatrix} A B \\ C D \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} \begin{bmatrix} f \\ g \end{bmatrix}.[AC​BD​][xy​][fg​].若AAA可逆可按如下步骤解由第一行得到AxByf⟹xA−1(f−By). A x B y f \quad\Longrightarrow\quad x A^{-1}(f - B y).AxByf⟹xA−1(f−By).代入第二行CA−1(f−By)Dyg C A^{-1}(f - B y) D y gCA−1(f−By)Dyg整理为关于yyy的线性方程(D−CA−1B)yg−CA−1f, \big( D - C A^{-1} B \big) y g - C A^{-1} f,(D−CA−1B)yg−CA−1f,即SD∣Ayg−CA−1f.(5) S_{D|A} y g - C A^{-1} f. \tag{5}SD∣A​yg−CA−1f.(5)解出yyy通过求解关于舒尔补的系统然后回代得到xxxxA−1(f−By). x A^{-1}(f - B y).xA−1(f−By).该方法等价于对原系统先做一次块 Gaussian 消元消去xxx降低问题规模。七、概率与统计中的解释高斯分布的条件协方差与舒尔补设随机向量[XY]\begin{bmatrix} X \\ Y \end{bmatrix}[XY​]服从均值μ\muμ、协方差矩阵Σ\SigmaΣ的多元高斯分布其中协方差按块分解为Σ[ΣXXΣXYΣYXΣYY]. \Sigma \begin{bmatrix} \Sigma_{XX} \Sigma_{XY} \\ \Sigma_{YX} \Sigma_{YY} \end{bmatrix}.Σ[ΣXX​ΣYX​​ΣXY​ΣYY​​].则给定YyYyYy时的条件协方差为Cov(X∣Y)ΣXX−ΣXYΣYY−1ΣYX, \mathrm{Cov}(X \mid Y) \Sigma_{XX} - \Sigma_{XY} \Sigma_{YY}^{-1} \Sigma_{YX},Cov(X∣Y)ΣXX​−ΣXY​ΣYY−1​ΣYX​,即恰为Σ\SigmaΣ相对于ΣYY\Sigma_{YY}ΣYY​的舒尔补或常写作ΣXX−ΣXYΣYY−1ΣYX\Sigma_{XX} - \Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}ΣXX​−ΣXY​ΣYY−1​ΣYX​。这解释了为什么舒尔补在统计学中等价于“消除变量得到的条件/边缘协方差”。另外精度矩阵inverse covariance信息矩阵分块的条件也可用舒尔补表述且在图模型Gaussian Markov random fields中非常常见。八、半正定规划SDP与 Schur Complement Lemma在凸优化尤其是半正定规划中舒尔补引理是将线性矩阵不等式LMI中“矩阵条件”与舒尔补正定性等价转化的基础工具。典型形式若A≻0A \succ 0A≻0则约束[ABB⊤D]⪰0 \begin{bmatrix} A B \\ B^\top D \end{bmatrix} \succeq 0[AB⊤​BD​]⪰0等价于A≻0且D−B⊤A−1B⪰0. A \succ 0 \quad\text{且}\quad D - B^\top A^{-1} B \succeq 0.A≻0且D−B⊤A−1B⪰0.反之若D≻0D \succ 0D≻0可替换为另一个等价条件。这一引理常用于把约束转换为凸可处理形式以及在求解 SDP 时构造乘子与 KKT 条件。九、数值与实现层面的注意事项数值稳定性直接计算A−1A^{-1}A−1并构造SD∣AD−CA−1BS_{D|A}D-C A^{-1} BSD∣A​D−CA−1B通常不建议显式求逆数值不稳定。更稳健的做法是对AAA做分解如LULULU或 Cholesky 若AAASPD利用分解求解与前乘例如A−1BA^{-1} BA−1B可通过求解方程组AXBA X BAXB获得而不显式求A−1A^{-1}A−1。稀疏性在稀疏矩阵上计算舒尔补可能导致所谓的填充fill-in即产生额外非零元素增加计算成本。因而在稀疏直接解法中要慎用舒尔补或通过重排序减少填充。块选择哪一块作主块若AAA比DDD小且条件数较好通常选择以AAA为主块消去反之亦然。实际实现中常基于复杂度估计或稀疏图结构选择。并行与分布式舒尔补计算常用于域分解domain decomposition与分布式求解中例如把全局问题拆成子问题每个子问题形成局部 Schur 补然后合并。软件实现技巧使用数值线性代数库LAPACK/BLAS、Eigen、SuiteSparse 等做分解与线性求解而非直接求逆。记录并重用已分解的因子如果AAA在多次消元中重复使用。十、典型应用场景求解带约束的线性系统块高斯消元如求解 PDE 的离散化、耦合系统、维度分离问题。矩阵反演块反演快速得到部分逆块例如得到M−1∗22M^{-1}*{22}M−1∗22即S∗D∣A−1S*{D|A}^{-1}S∗D∣A−1。概率/统计多元高斯条件分布与边缘化如卡尔曼滤波、图优化中的信息过滤/边缘化。控制与估计线性二次型、Riccati 方程中常见的分块更新。半正定规划SDP与凸优化用于转换 LMI、建立 KKT 条件。数值预处理 / Schur 预条件器用于 Krylov 空间方法如 GMRES的预条件化。分布式/并行求解域分解法、子结构合并每个子问题生成局部舒尔补合并求解全局系统。十一、具体数值示例考虑简单数值例子用于验证公式 (1)令A[2003],B[10],C[01],D[4]. A \begin{bmatrix} 2 0 \\ 0 3 \end{bmatrix},\quad B \begin{bmatrix} 1 \\ 0 \end{bmatrix},\quad C \begin{bmatrix} 0 1 \end{bmatrix},\quad D \begin{bmatrix} 4 \end{bmatrix}.A[20​03​],B[10​],C[0​1​],D[4​].计算A−1[1/2001/3]A^{-1} \begin{bmatrix} 1/2 0 \\ 0 1/3 \end{bmatrix}A−1[1/20​01/3​],再算C(A−1B)C(A^{-1}B)C(A−1B)C(A−1B)[01][120]0⋅121⋅00. C\big(A^{-1}B\big) \begin{bmatrix}0 1\end{bmatrix} \begin{bmatrix}\tfrac12\\0\end{bmatrix} 0\cdot\tfrac12 1\cdot 0 0.C(A−1B)[0​1​][21​0​]0⋅21​1⋅00.舒尔补SD∣AD−CA−1B4S_{D|A} D - C A^{-1} B 4SD∣A​D−CA−1B4.应用公式 (1) 可得M−1M^{-1}M−1的分块。读者可按需手工代数计算验证。十二、小结定义舒尔补把“消去”一个主块得到的新的较小矩阵用以归约问题。块逆公式在AAA可逆且舒尔补可逆时公式 (1) 给出M−1M^{-1}M−1的闭式解。行列式det⁡(M)det⁡(A)det⁡(SD∣A)\det(M)\det(A)\det(S_{D|A})det(M)det(A)det(SD∣A​)非常有用。正定性对称情形下M≻0 ⟺ A≻0M\succ0 \iff A\succ0M≻0⟺A≻0与SD∣A≻0S_{D|A}\succ0SD∣A​≻0同时成立或对DDD同理。应用广泛线性方程、概率条件化、SDP、预条件器、并行/分布式算法等。数值注意优先用分解求解避免显式求逆注意稀疏填充与稳定性。十三、 参考文献与经典教材Horn Johnson,Matrix AnalysisBoyd Vandenberghe,Convex Optimization, Appendix AGolub Van Loan,Matrix ComputationsKailath,Linear EstimationGTSAM 提示文档Schur Complement 在 BA 中的使用Ceres Solver:Schur Complement小节Barfoot,State Estimation for Robotics— 信息矩阵边缘化推导