1 前言

今天在做 Machine Learning中多元线性回归的作业~

2 Machine Learning中多元线性回归

2.1 Feature Scaling和 Mean Normalization

实现 Feature Scaling和 Mean Normalization的公式如下：

xi=xi−μisix_i=\frac{x_i-\mu_i}{s_i}xi​=si​xi​−μi​​

其中，μi\mu_iμi​是特征i所有值的平均值，sis_isi​是特征i值域的跨度，或者sis_isi​也可以是标准差。

2.2 梯度下降

2.2.1 权值θ\thetaθ的梯度公式

第j个权值θj\theta_jθj​的梯度公式如下：

∂∂θjJ(θj)=1m∑i=1m(hθ(xi)−yi)⋅xji\frac{\partial }{\partial \theta_j}J(\theta_j)=\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^i)-y^i)\cdot x_j^i ∂θj​∂​J(θj​)=m1​i=1∑m​(hθ​(xi)−yi)⋅xji​