其他机器学习系列文章见于专题：机器学习进阶之路——学习笔记整理，欢迎大家关注。
设特征空间 χ \chi χ是 n n n维实数向量空间 R n R^n Rn， x i , x j ∈ χ {x_i},{x_j} \in \chi xi,xj∈χ， x i = ( x i ( 1 ) , x i ( 2 ) , ⋯   , x i ( n ) ) T x _ { i } = \left( x _ { i } ^ { ( 1 ) } , x _ { i } ^ { ( 2 ) } , \cdots , x _ { i } ^ { ( n ) } \right) ^ { T } xi=(xi(1),xi(2),⋯,xi(n))T， x j = ( x j ( 1 ) , x j ( 2 ) , ⋯   , x j ( n ) ) T x _ { j } = \left( x _ { j } ^ { ( 1 ) } , x _ { j } ^ { ( 2 ) } , \cdots , x _ { j } ^ { ( n ) } \right) ^ { \mathrm { T } } xj=(xj(1),xj(2),⋯,xj(n))T。
1. 闵可夫斯基距离（Minkowski distance, L p L_p Lp距离）
x i , x j x_i,x_j xi,xj的 L p L_p Lp距离定义为：
L p ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ p ) 1 p L _ { p } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { p } \right) ^ { \frac { 1 } { p } } Lp(xi,xj)=(l=1∑n∣∣∣xi(l)−xj(l)∣∣∣p)p1
其中， p ≥ 1 p \ge 1 p≥1。
2. 曼哈顿距离（Manhattan distance）
当 p = 1 p=1 p=1时， L p L_p Lp距离就变成了曼哈顿距离：
L 1 ( x i , x j ) = ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ L _ { 1 } \left( x _ { i } , x _ { j } \right) = \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| L1(xi,xj)=l=1∑n∣∣∣xi(l)−xj(l)∣∣∣
3. 欧式距离（Euclidean distance）
当 p = 2 p=2 p=2， L p L_p Lp距离就变成了欧几里得距离：
L 2 ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ 2 ) 1 2 L _ { 2 } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { 2 } \right) ^ { \frac { 1 } { 2 } } L2(xi,xj)=(l=1∑n∣∣∣xi(l)−xj(l)∣∣∣2)21
4. 切比雪夫距离（Chebyshev distance）
当 p = ∞ p = \infty p=∞， L p L_p Lp距离就变成了切比雪夫距离，它是各个坐标距离的最大值：
L ∞ ( x i , x j ) = max l ∣ x i ( l ) − x j ( l ) ∣ L _ { \infty } \left( x _ { i } , x _ { j } \right) = \max _ { l } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| L∞(xi,xj)=lmax∣∣∣xi(l)−xj(l)∣∣∣
参考文献：
《统计学习方法》第三章k近邻模型——李航
