利用线性空间、子空间实现线性回归问题

   线性回归有许多方法可以解决,比如最小二乘法、神经网络等,本篇介绍基于线性代数,利用向量、线性空间、子空间概念快速求解线性回归问题,掌握本章知识点后可以利用有些结论解决如函数逼近问题。

  一、线性空间、子空间

  将有限个基通过数乘、加操作张成线性空间,线性空间中可以最多可以用n个线性不相关的基张成,就可以说这个线性空间是n维的,如果一个线性空间有n个基分别是α123...αn,这个线性空间可以这样表达:space=span{α123...αn}。注意空间的维度和向量的维度不一样,向量维度是指向量中元素的个数,比如向量v=(1,2,3)T代表了一个维度是3的向量,空间的维度是指有多少个基组成了这个空间,空间的基本身也是一个向量。

向量合成.jpg

子空间.jpg

   如果我们手上只有一个子空间,怎么拓展子空间从而能够表示整个空间里的任意一个向量?结合上面例子,只有一个子空间W,即XOY平面,怎么拓展XOY平面去表示一个三维空间里的任意一个向量。其实很简单,再加入一个向量进来,联合XOY平面就是三维了。具体做法是,在XOY平面外任选一点,从该点做一条垂直于XOY平面的直线,这个直线就是我们所需要的向量, 效果如下图:

超平面.jpg

    可以看到,在线性空间任意一个向量AP都可以用W子空间里的一个向量AC和新引入向量AB线性组合,而AC代表子空间里一个向量,向量AC又可以用W子空间的基线性组合,W子空间是二维的,实际应用中不管W子空间是多少维的,由于其中任意一个向量都可以用子空间的基线性组合来表示,常把W子空间抽象成一个平面,也叫超平面需要强调的是:

1)、新引入的AM向量也是三维空间的一个子空间。

2)、新引入的AM可以任选一条不在XOY平面直线,不在XOY平面内意味着与XOY平面的两个基线性不相关,这样联合之后复合空间一定是3维的

3)、向量AC称为向量AP在W子空间的投影,可以发现向量AP与所有在W子空间的向量中,只有与AC是距离最短的,即固定线性空间中一个向量AP,在W子空间找出与其最短距离向量只有AC一个,我们将运用这个性质来实现线性回归。

二、求解未知参数实现线性回归

2.1 回归方程与线性空间的关系

   有了以上的知识储备后,我们就可以来实现线性回归,先来表述一下线性回归所要解决的问题。

问题表述.jpg

timg.jpg

这里的红色直线就代表待求解的回归函数,本例中这是以身高和年龄为自变量的函数,蓝色点代表真实体重信息,显然在真实的世界里,蓝色点不会规规矩矩的在一条直线上,即收敛在红色的这条直线上,这里只能是"约等于",下面结合之前介绍的知识来求解未知参数a,b,c。

解决1.jpg

TU1.jpg


在W平面里虚线代表了不同向量与z之间的误差,只有z在W平面的投影v最短,求出v的过程就是求未知参数a,b,c的过程,在求解之前先来了解一下线性代数中投影的概念。

2.2 投影矩阵

    首先来看两个向量之间投影,如下图所示:

两个向量间投影.jpg

向量b在a上的投影为p=ax,x ∈R,而向量e=b-p,e一般称为误差,向量e和a正交,即有等式:

-请登陆后阅读余下文章-
登录|注册