凌云时刻 · 技术
导读:这篇笔记主要介绍梯度下降法,梯度下降不是机器学习专属的算法,它是一种基于搜索的最优化方法,也就是通过不断的搜索然后找到损失函数的最小值。像上篇笔记中使用正规方程解实现多元线性回归,基于这个模型我们可以推导出的数学解,但是很多模型是推导不出数学解的,所以就需要梯度下降法来搜索出最优解。
作者 | 计缘
来源 |凌云时刻(微信号:linuxpk)
优化梯度公式
我们先将之前推导出来的梯度公式写出来:
将展开来看:
将第一行的元素形式统一,每项都乘以,并且恒等于1:
下面我们来两个矩阵,A为一个1行m列的矩阵,B为一个m行n列的矩阵:
在第二篇笔记中我们复习过矩阵的运算,让A矩阵点乘B矩阵会得到一个1行n列的新矩阵:
注意上面A⋅B的矩阵是1行n列的矩阵,将其转置后就称为了n行1列的矩阵,正是之前展开的梯度∇L,所以我们的梯度公式可写为:
如此一来我们就可以修改一下之前封装的梯度的方法了:
此时就可以用一行代码取代之前的for循环来实现梯度了。
用真实数据测试梯度下降法
我们用Scikit Learn提供的波士顿房价来测试一下梯度下降法:
从前10行的数据中可以看出来,数据之间的差距非常大,不同于正规方程法的有数学解,在梯度下降中会非常影响梯度的值,既影响的搜索,从而影响收敛速度和是否能收敛,所以一般在使用梯度下降法前,都需要对数据进行归一化处理,将数据转换到同一尺度下。在第三篇笔记中介绍过数据归一化的方法,Scikit Learn中也提供了数据归一化的方法,我们就使用Scikit Learn中提供的方法对波士顿数据进行归一化:
可以看到数据都在同一个尺度内了,然后我们用优化后的梯度下降法来训练归一化后的样本数据:
看到结果与我们之前使用正规方程法得到的结果是一致的。
END
往期精彩文章回顾
机器学习笔记(十):梯度下降
机器学习笔记(九):多元线性回归
机器学习笔记(八):线性回归算法的评测标准
机器学习笔记(七):线性回归
机器学习笔记(六):数据归一化
机器学习笔记(五):超参数
机器学习笔记(四):kNN算法
机器学习笔记(三):NumPy、Matplotlib、kNN算法
机器学习笔记(二):矩阵、环境搭建、NumPy
机器学习笔记(一):机器的学习定义、导数和最小二乘
长按扫描二维码关注凌云时刻
每日收获前沿技术与科技洞见