卷积神经网络：从欧氏空间到非欧氏空间
人工神经网络发展浪潮
第三次浪潮——卷积神经网络
加拿大多伦多大学教授，机器学习领域泰斗Geoffery Hinton及其学生在《科学》上发表了一篇论文，开启了深度学习在学术界和工业界的新浪潮！
卷积计算与神经网络结构
卷积定义
设f(x)f(x)f(x)和g(x)g(x)g(x)是RRR上的两个可积函数，连续形式卷积定义如下
离散空间卷积
yn=x×w=y_n = x \times w=yn=x×w=
卷积计算与神经网络结构
基本概念——卷积
卷积核大小 (Kernel Size): 卷积操作感受野，在二维卷积中，通常设置为3，即卷积核大小为3×3步长 (Stride): 卷积核遍历图像时的步幅大小，默认值通常设置为1边界扩充 (Padding): 样本边界的处理方式输入与输出通道 (Channels): 构建卷积层时需定义输入通道数量III，和输出通道数量OOO，每个网络层的参数量为I×O×KI×O×KI×O×K（K为卷积核的参数个数）
基本概念——池化、全连接
池化层 特殊形式卷积降维、减少数据计算量，减缓过拟合，特征不变性（平移、尺度） 全连接层 模型输出层分类、回归
多层卷积神经网络示例
卷积核大小为5*5，步长为1，不扩充边界，输入通道为3，输出通道为2输出通道数为6，其余参数不变。第一层的输出通道数为3，第二层输出通道数为6。
CNN模型
AlexNet、VGGNet-卷积开创
网络更深：AlexNet一共8层，VGGNet一共16层或19层数据增广：为增强模型泛化能力，对256×256原始图像进行随机裁剪，得到尺寸为224×224图像，输入网络进行训练ReLU非线性激活函数：减少计算量，缓解梯度消失，缓解过拟合。ReLU激活函数现已成为神经网络中最通用的激活函数Dropout：全连接层神经元以一定概率失活，失活神经元不再参与训练。Dropout的引用，有效缓解了模型的过拟合Pre-Training：先训练一部分小网络，确保稳定之后，在此基础上网络逐渐加深。
GoogLeNet-深度、宽度扩展
网络更深：GoogLeNet一共22层多分辨率结构：引入Inception结构替代传统卷积+激活计算量降低：采用1×1卷积核来实现数据降维
深度、宽度再扩展——ResNet、DenseNet
网络更深：ResNet已超过一百层（ResNet-101）残差连接：特征经两条路线传递，常规路线与捷径跳跃连接：底层特征与高层特征相融合
络通用性扩展
深度可分离卷积
5×5分通道卷积1×1卷积融合各通道特征
空洞卷积（膨胀卷积）
局部输入不变感受野变大
计算范式
多维欧式空间局部空间响应卷积参数共享
卷积神经网络拓展至非欧空间
欧式空间非规则化连接—活性卷积
活性卷积 (CVPR ) --> 卷积核形状可变
如何卷积核形状可变
双线性插值：离散坐标下，可以通过插值方法计算得到连续位置的像素值可学习参数Δαk,Δβk\Delta \alpha_k,\Delta \beta_kΔαk,Δβk可变卷积核形状固定卷积核位置参数化双线性插值连续化传统BP算法训练
偏移示例
可变形卷积 (ICCV )3×3 可变形卷积 (N=9) ➢ 每个位置对应一个偏置偏置通过额外卷积学习每个偏置为二维向量
总结
欧式空间卷积神经网络
处理固定输入维度数据、局部输入数据必须有序语音、图像、视频（规则结构）满足以上两点要求
非欧式空间结构数据
局部输入维度可变局部输入排列无序
