小编给大家分享一下python实现最小二乘法的示例,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获、下面让我们一起去了解一下吧!
最小二乘法最小二乘法,做为分类回归算法的基础,有着悠久的历史(由马里·勒让德于1806年提出)。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
那什么是最小二乘法呢?别着急,我们先从几个简单的概念说起。
假设我们现在有一系列的数据点
前两种范数是最容易想到，最自然的，但是不利于进行微分运算，在数据量很大的情况下计算量太大，不具有可操作性。因此一般使用的是2-范数。
说了这么多，那范数和拟合有什么关系呢？拟合程度，用通俗的话来讲，就是我们的拟合函数h(x)与待求解的函数y之间的相似性。那么2-范数越小，自然相似性就比较高了。
由此，我们可以写出最小二乘法的定义了：
对于给定的数据 
，在取定的假设空间H中，求解h(x)∈H，使得残差 
的2-范数最小，即
从几何上讲，就是寻找与给定点 
距离平方和最小的曲线y=h(x)。h(x)称为拟合函数或者最小二乘解，求解拟合函数h(x)的方法称为曲线拟合的最小二乘法。
那么这里的h(x)到底应该长什么样呢？一般情况下，这是一条多项式曲线：
这里h(x,w)是一个n次多项式，w是其参数。
也就是说，最小二乘法就是要找到这样一组 
，使得 
最小。
那么如何找到这样的w，使得其拟合函数h(x)与目标函数y具有最高拟合程度呢？即最小二乘法如何求解呢，这才是关键啊。
假设我们的拟合函数是一个线性函数，即：
（当然，也可以是二次函数，或者更高维的函数，这里仅仅是作为求解范例，所以采用了最简单的线性函数）那么我们的目标就是找到这样的w，
这里令 
为样本 
的平方损失函数
