广义奇异值分解

线性代数中,广义奇异值分解(GSVD)是基于奇异值(SVD)的两种不同算法的统称。其区别在于,一个是分解两个矩阵(类似于高阶或张量SVD),另一种使用施加于单矩阵SVD奇异向量上的约束。

版本1:双矩阵分解

广义奇异值分解(GSVD)是对矩阵对的矩阵分解,将奇异值分解推广到两个矩阵的情形。它由Van Loan [1]于1976年提出,后来由Paige与Saunders完善,[2]也就是本节描述的版本。与SVD相对,GSVD可以同时分解具有相同列数的矩阵对。SVD、GSVD及SVD的其他一些推广[3][4][5]被广泛用于研究线性系统在二次半范数方面的条件调节正则化。下面设 ,或 

定义

  广义奇异值分解 ,其中

  •  酉矩阵
  •  为酉矩阵;
  •  为酉矩阵;
  •  为酉矩阵;
  •  对角线元素为正实数,包含 的非零奇异值的降序排列,
  •  ,
  •  是非负实数分块对角阵,其中 ,其中 ,  ,且 
  •  是非负实数分块对角阵,其中 ,其中 ,  ,且 
  •  ,
  •  ,
  •  ,
  •  .

 。而 是对角阵, 不总是对角阵,因为前导矩形零矩阵;相反, 是“副对角阵”。

变体

GSVD有许多变体,与这样一个事实有关: 总可以左乘 是任意酉矩阵。记

  •  
  •  ,其中 是上三角可逆阵; 是酉矩阵。QR分解总可以得到这样的矩阵。
  •  ,那么 可逆。

下面是GSVD的一些变体:

  • MATLAB(gsvd): 
  • LAPACK(LA_GGSVD): 
  • 简化: 

广义奇异值

  广义奇异值 是一对 使得

 我们有

  •  
  •  


根据这些性质,可以证明广义奇异值正是成对的 。有 因此

 

对某个 ,当 时,表达式恰为零。

[2]中,广义奇异值被认为是求解 的奇异值。然而,这只有当 时才成立,否则行列式对每对 都将是0;这可通过替换上面的 得到。

广义逆

对任意可逆阵 ,令 ,对任意零矩阵 ,令 ,对任意分块对角阵令 。定义 可以证明这里定义的  广义逆阵;特别是  逆。由于它一般不满足 ,所以不是摩尔-彭若斯广义逆;否则可以得出,对任意所选矩阵都有 ,这只对特定类型的矩阵成立。

 ,其中 。这个广义逆具有如下性质:

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

商SVD

'  的'广义奇异比 。由以上性质, 。注意 是对角阵,忽略前导零矩阵,按降序包含着奇异比。若 可逆,则 没有前导零,广义奇异比就是奇异值,  则是 的奇异向量矩阵。事实上计算 的SVD是GSVD的动机之一,因为“形成 并求SVD,当 的方程解条件不佳时,可能产生不必要、较大的数值误差”。[2]因此有时也被称为“商GSVD”,虽然这并不是使用GSVD的唯一原因。若 不可逆,并放宽奇异值降序排列的要求,则 仍是 的SVD。或者,把前导零移到后面,也可以找到降序SVD: ,其中  是适当的置换矩阵。由于秩等于非零奇异值的个数,所以 

构造

  •   的SVD,其中 是酉矩阵,  如上所述;
  •  ,其中  
  •  ,其中  
  •  通过 的SVD得到,其中   如上所述,
  •  经过类似于QR分解的分解,其中  如上所述。

那么, 还有 因此 由于 的列归一正交, ,因此 对每个 ,有 ,使得 因此  

应用

 
张量GSVD是比较谱分解的一种,是SVD在多张量上的推广,提出动机是同时识别其中的相似与不相似数据,并从任何数量和维度的任意数据类型中得到单一相干模型。

GSVD是一种比较谱分解,[6]已成功应用于信号处理和数据科学,如基因组信号处理。[7][8][9]

这些应用启发了其他几种比较谱分解,即高阶GSVD(HO GSVD)[10]与张量GSVD。[11] [12]

当特征函数以线性模型(即再生核希尔伯特空间)为参数时,它同样适于估计线性运算的谱分解。[13]

版本2:加权单矩阵分解

广义奇异值分解(GSVD)的加权情形是一种有约束矩阵分解,约束施加在奇异向量上。[14][15][16]这种GSVDSVD的推广。给定m×n实或复数矩阵MSVD分解

 

,其中

 

其中I单位矩阵  在约束条件下(  )是标准正交矩阵。另外,  是正定矩阵(通常是权的对角矩阵)。这种形式的GSVD是某些算法的核心,如广义主成分分析和对应分析

加权形式的GSVD之所以被称为加权形式,是因为在正确取权时,可以推出许多算法(如多维标度线性判别分析)。[17]

参考文献

  1. ^ Van Loan CF. Generalizing the Singular Value Decomposition. SIAM J. Numer. Anal. 1976, 13 (1): 76–83. Bibcode:1976SJNA...13...76V. doi:10.1137/0713009. 
  2. ^ 2.0 2.1 2.2 Paige CC, Saunders MA. Towards a Generalized Singular Value Decomposition. SIAM J. Numer. Anal. 1981, 18 (3): 398–405. Bibcode:1981SJNA...18..398P. doi:10.1137/0718026. 
  3. ^ Hansen PC. Rank-Deficient and Discrete Ill-Posed Problems: Numerical Aspects of Linear Inversion. SIAM Monographs on Mathematical Modeling and Computation. 1997. ISBN 0-89871-403-6. 
  4. ^ de Moor BL, Golub GH. Generalized Singular Value Decompositions A Proposal for a Standard Nomenclauture (PDF). 1989 [2023-09-25]. (原始内容存档 (PDF)于2023-07-23). 
  5. ^ de Moor BL, Zha H. A tree of generalizations of the ordinary singular value decomposition. Linear Algebra and Its Applications. 1991, 147: 469–500. doi:10.1016/0024-3795(91)90243-P . 
  6. ^ Alter O, Brown PO, Botstein D. Generalized singular value decomposition for comparative analysis of genome-scale expression data sets of two different organisms. Proceedings of the National Academy of Sciences of the United States of America. March 2003, 100 (6): 3351–6. Bibcode:2003PNAS..100.3351A. PMC 152296 . PMID 12631705. doi:10.1073/pnas.0530258100 . 
  7. ^ Lee CH, Alpert BO, Sankaranarayanan P, Alter O. GSVD comparison of patient-matched normal and tumor aCGH profiles reveals global copy-number alterations predicting glioblastoma multiforme survival. PLOS ONE. January 2012, 7 (1): e30098. Bibcode:2012PLoSO...730098L. PMC 3264559 . PMID 22291905. doi:10.1371/journal.pone.0030098 . 
  8. ^ Aiello KA, Ponnapalli SP, Alter O. Mathematically universal and biologically consistent astrocytoma genotype encodes for transformation and predicts survival phenotype. APL Bioengineering. September 2018, 2 (3): 031909. PMC 6215493 . PMID 30397684. doi:10.1063/1.5037882. 
  9. ^ Ponnapalli SP, Bradley MW, Devine K, Bowen J, Coppens SE, Leraas KM, Milash BA, Li F, Luo H, Qiu S, Wu K, Yang H, Wittwer CT, Palmer CA, Jensen RL, Gastier-Foster JM, Hanson HA, Barnholtz-Sloan JS, Alter O. Retrospective Clinical Trial Experimentally Validates Glioblastoma Genome-Wide Pattern of DNA Copy-Number Alterations Predictor of Survival. APL Bioengineering. May 2020, 4 (2): 026106. PMC 7229984 . PMID 32478280. doi:10.1063/1.5142559 . Press Release.  温哥华格式错误 (帮助)
  10. ^ Ponnapalli SP, Saunders MA, Van Loan CF, Alter O. A higher-order generalized singular value decomposition for comparison of global mRNA expression from multiple organisms. PLOS ONE. December 2011, 6 (12): e28072. Bibcode:2011PLoSO...628072P. PMC 3245232 . PMID 22216090. doi:10.1371/journal.pone.0028072 . 
  11. ^ Sankaranarayanan P, Schomay TE, Aiello KA, Alter O. Tensor GSVD of patient- and platform-matched tumor and normal DNA copy-number profiles uncovers chromosome arm-wide patterns of tumor-exclusive platform-consistent alterations encoding for cell transformation and predicting ovarian cancer survival. PLOS ONE. April 2015, 10 (4): e0121396. Bibcode:2015PLoSO..1021396S. PMC 4398562 . PMID 25875127. doi:10.1371/journal.pone.0121396 . 
  12. ^ Bradley MW, Aiello KA, Ponnapalli SP, Hanson HA, Alter O. GSVD- and tensor GSVD-uncovered patterns of DNA copy-number alterations predict adenocarcinomas survival in general and in response to platinum. APL Bioengineering. September 2019, 3 (3): 036104. PMC 6701977 . PMID 31463421. doi:10.1063/1.5099268. Supplementary Material. 
  13. ^ Cabannes, Vivien; Pillaud-Vivien, Loucas; Bach, Francis; Rudi, Alessandro. Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning. 2021. arXiv:2009.04324  [stat.ML]. 
  14. ^ Jolliffe IT. Principal Component Analysis . Springer Series in Statistics 2nd. NY: Springer. 2002. ISBN 978-0-387-95442-4. 
  15. ^ Greenacre M. Theory and Applications of Correspondence Analysis. London: Academic Press. 1983. ISBN 978-0-12-299050-2. 
  16. ^ Abdi H, Williams LJ. Principal component analysis.. Wiley Interdisciplinary Reviews: Computational Statistics. 2010, 2 (4): 433–459. doi:10.1002/wics.101. 
  17. ^ Abdi H. Singular Value Decomposition (SVD) and Generalized Singular Value Decomposition (GSVD).. Salkind NJ (编). Encyclopedia of Measurement and Statistics. . Thousand Oaks (CA): Sage. 2007: 907–912. 

阅读更多