判断两个向量是否正交技巧两个向量正交怎么算( 二 ) _生活百科

简化后的正规方程 :

文章插图

文章插图

有的人就会问这玩意怎么得出来的. 别急, 听我娓娓道来
首先, 原来的正规方程式是找到一个合适的θ将目标值y投影到数据集X上使得损失函数最小, 也就是最小二乘. 那如果我们将y投影到正交矩阵上会发生什么?

文章插图

文章插图

将X(数据集构成的矩阵)替换成Q(数据集对应的正交矩阵). 记得我在上面提到的正交矩阵的性质吗, 正交矩阵的转置和正交矩阵的乘积是单位矩阵 Q^TQ = I. 所以方程的左半边就剩下一个θ, 右半边不变.
这就是标准正交矩阵在正规方程中的用途啦. 它将时间复杂度为O(n^3)的矩阵运算直接简化掉了, 大大提升了使用正规方程的效率, 也让正规方程在参数数量庞大的情况下依旧有效.
有些人可能会问, 那什么样的正交矩阵才能替换原来由数据集构成的矩阵呢, 总不能任何一个正交矩阵都能替换吧. 没错, 这个正交矩阵必须在矩阵X的列空间内, 也就是说, 这个正交矩阵Q是通过矩阵X的基衍生出来的. 在同一向量空间内, 向量之间的线性组合仍旧处在该空间内, 所以我们将矩阵X中的向量正交化得出来的正交矩阵, 仍旧处于原来那个向量空间. 这也是为什么简化后正规方程得出来的参数θ可以被带回到原来的式子里. 因为正交化后的向量和原向量处在同一向量空间.
如何正交化
Gram-Schmidt正交化的具体过程如下: