机器学习问与答（二）：线性学习

问题一：

①这里的假设数据分布是什么意思？哪些分类器需要事先假设数据分布？

网络上相关资料好少，贴点相关知识辅助理解。

数据分布就是数据在它对应的特征空间中的位置，数据是如何在空间排布的。

为什么机器学习中常常假设数据是独立同分布的？

独立、相关的关系：

独立，两个事件的发生没有任何关系

相关，一般指线性相关，不相关指不线性相关，但或许满足非线性相关

同分布：

意味着X1和X2具有相同的分布形状和相同的分布参数，对离散随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的分布函数，相同的期望、方差。

独立同分布（iid）：

在不少问题中要求样本（数据）采样自同一个分布是因为希望用训练数据集训练得到的模型可以合理用于测试集，使用同分布假设能够使得这个做法解释得通。

（机器学习就是利用当前获取到的信息（或数据）进行训练学习，用以对未来的数据进行预测、模拟。因此需要我们使用的历史数据具有总体的代表性。）

②好吧，其实优点3）也没怎么看懂，要不也解释解释？

直接点来说，就是逻辑斯蒂函数是任意阶可导的凸函数，有很好的数学性质，能应用许多数值优化算法。

什么是凸函数的定义和判定？

线性回归的目标函数是一个凸函数。一个闭区间上凸函数，必须在这个区间上满足“两点中点处函数值≤两点各自函数值和的一半”，而不要想当然的理解为形状朝一个方向“凸出”就是凸函数。比如，y=x²是凸函数，y=-x²就不是。从数学角度，可以通过二阶导数判断：若在区间上二阶导数非负，则称为凸函数；若二阶导数在区间上恒大于0，则称为严格凸函数。

关于数值优化，内容过多，贴个网页：

/fangqingan_java/article/details/46289691

问题二：

“序”关系是什么意思？可以举例说明吗？

答：属性值之间存在“序”的关系，既属性值之间有明显的大小之分或高低之分，如“难看，一般，好看”是明显的长相由差到好，故可按序量化为(1,0.5,0)；若属性值之间不存在“序”的关系，既属性值之间没有明显的递增递减关系，如人的性格有“冷漠、可爱、孤僻、成熟”，就可以用四维向量表示（1，0，0，0），（0，1，0，0），（0，0，1，0），（0，0，0，1）。如果对于无序的属性按有序属性的方式量化，则会不恰当的引入序关系，后面如果有涉及距离的计算，有可能会造成误导。这里实际上对应的是编程实现时的数据预处理部分。

问题三：

这恐怕是个蠢问题，但是还是想问问，线性回归、岭回归、Lasso回归等等这些回归的区别是什么？是联系函数不一样还是进行预测的函数不一样？

线性回归、岭回归、Lasso回归的区别：

线性回归、岭回归、Lasso回归的主要区别在于损失函数的不同。贴公式太麻烦了，直接截个自己写的Word…

内容来源：/wuliytTaotao/archive//05/11/10837533.html

Lasso回归和岭回归的同与异：

相同：

都可以用来解决标准线性回归的过拟合问题。

不同：

Lasso回归可以用来做特征选择，而岭回归不行。或者说，Lasso回归更容易使得权重变为0，而岭回归更容易使得权重接近0。

从贝叶斯角度看，Lasso回归（L1正则）等价于参数w的先验概率分布满足拉普拉斯分布，而岭回归（L2正则）等价于参数w的先验概率分布满足高斯分布。

为什么说线性回归容易造成过拟合，而加入L1或L2正则化后，则可以解决过拟合问题：

加入L1或L2正则化，能让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。

可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什幺影响，一种流行的说法是『抗扰动能力强』。

问题四：

“其输出值在z=0附近变化很陡”这句话对具体的分类来说有什么意义..

好像，是没什么特殊的意义，只是单纯的描述逻辑斯蒂函数的图像。

写点相关知识：

Sigmoid函数

Sgimoid函数即形似S的函数，也称为S函数。在机器学习中经常用作分类，如逻辑斯蒂回归和神经网络（Neural Networks）中的逻辑斯蒂函数。

典型的Sigmoid函数，它把可能在较大范围内变化的输入值“挤压到”（0，1）的输出范围内，因此又时也成为“挤压函数”（SquashingFunction）。