标签：optimization

所有包含「optimization」标签的博客

• 用于快速求解大型稀疏矩阵特征值的算法：Arnoldi 分解

  发布于 2023 年 7 月 7 日 |  at 22:28

  Arnoldi 和 Lanczos 迭代是快速求大型稀疏矩阵在 Krylov 子空间的投影矩阵的方法。Lanczos 迭代是当待求特征分解的矩阵是埃尔米特（Hermitian）矩阵时的特殊情形。投影矩阵的特征值和特征向量可以用来近似原矩阵的部分（往往是最大的部分）特征值及特征向量，投影矩阵 Hessenberg 的特点也让计算投影矩阵的特征值具有较高的效率。著名的 ARPACK 包就实现了 Arnoldi 和 Lanczos 迭代算法。

• 共轭梯度法

  发布于 2023 年 6 月 9 日

  共轭梯度法是解决一类特殊的多元线性系统优化问题的一个高效近似算法，该多元线性系统的系数矩阵需要满足正定对称条件。通过定义共轭向量，我们可以推导出精确闭式解；在实际应用中，如果我们只利用部分共轭向量，那么就可以在较少的时间复杂度内得到一个较好的对精确解的近似。

• 广义特征向量

  发布于 2023 年 7 月 6 日 |  at 19:55

  本文从代数重数和几何重数出发，介绍了广义特征向量，以及与其相关的约当链、约当标准型。最后，探讨了矩阵的最小多项式和广义特征向量和特征多项式的关系。

• 内点法

  发布于 2023 年 6 月 9 日

  内点法是一类解决既包含等式约束又包含不等式约束的凸优化问题的方法。当凸优化问题只有等式约束时，我们可以通过牛顿法解决；对待多了不等式约束的问题，我们可以把原问题化解为一系列的等式约束凸优化问题来求解。

• 流形约束框架下的 LapSVR 和 LapESVR

  发布于 2023 年 6 月 30 日 |  at 16:18

  本文介绍了 RKHS（再生核希尔伯特空间）下的流形约束框架，以及基于流形约束框架的三个模型：拉普拉斯支持向量回归（LapSVR）和嵌入图拉普拉斯矩阵的支持向量回归（LapESVR）。LapESVR 和 LapSVR 相比更高效，且得到的核片段（kernel section）系数有稀疏的特性。

• 偏最小二乘：基于协方差的有监督隐变量模型

  发布于 2023 年 6 月 9 日

  偏最小二乘（PLS）又称作 Projection to Latent Structure，它在化工软测量领域应用很广泛。本文介绍了 PLS 的优化问题，以及各种 PLS 的变种。

• 再生核希尔伯特空间

  发布于 2023 年 6 月 9 日

  再生核希尔伯特空间（RKHS）和一些支持核方法的机器学习模型，如 SVM，PCA 等密切地联系在一起。这边文章系统地介绍了和 RKHS 相关的一些概念，以及一个重要的定理——表示定理。