使用python怎么实现梯度下降法

1,简单易用,与C/c++、Java、c#等传统语言相比,python对代码格式的要求没有那么严格;2,python属于开源的,所有人都可以看到源代码,并且可以被移植在许多平台上使用;3,python面向对象,能够支持面向过程编程,也支持面向对象编程;4,python是一种解释性语言,python写的程序不需要编译成二进制代码,可以直接从源代码运行程序;5,python功能强大,拥有的模块众多,基本能够实现所有的常见功能。

1。最简单的情况,样本只有一个变量,即简单的(x, y)。多变量的则可为使用体重或身高判断男女(这是假设,并不严谨),则变量有两个,一个是体重,一个是身高,则可表示为(x1, x2, y),即一个目标值有两个属性。

2。单个变量的情况最简单的就是,函数香港(x)=k * x这条直线(注意:这里k也是变化的,我们的目的就是求一个最优的,k)。而深度学习中,我们是不知道函数的,也就是不知道上述的k。,这里讨论单变量的情况:

在不知道k的情况下,我们是通过样本(x1, y1), (x2, y2), (xn, yn)来获取k。获取的k的好坏则有损失函数来衡量。

损失函数:就是你预测的值和真实值的差异大小(比如一个样本(1,1)他的真实值是1,而你预测的是0.5,则差异,比较大,如果你预测值为0.9999,则差异就比较小了)。

损失函数为定义如下(此处为单变量的情况)

目的是求使损失函数最小的变量k(注意和变量x区分),则将损失函数对k求导(多变量时为求偏导得梯度,这里单变量求导,其实不算梯度),求偏导如下:

然后迭代,迭代时有个步长α,(深度学习中貌似叫学习率)

3。例子

假如我们得到样本(1,1),(2,2),(3、3)。其实,由这三个样本可以得到函数为y=1 * x。此时损失函数为0。而机器是不知道的,所以我们需要训练。

下面是一段python代码。