卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一 。

1.什么是卷积神经网络

(来源于网络)

卷积神经网络仿造生物的视知觉(visual perception)机制构建,可以进行监督学习和非监督学习,其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征,例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。

 

2.卷积神经网络原理

(来源于网络)

卷积神经网络在监督学习中使用BP框架进行学习,其计算流程在LeCun (1989) 中就已经确定,是最早在BP框架进行学习的深度算法之一。卷积神经网络中的BP分为三部分,即全连接层与卷积核的反向传播和池化层的反向通路(backward pass)。全连接层的BP计算与传统的前馈神经网络相同,卷积层的反向传播是一个与前向传播类似的交叉相关计算。

 

池化层在反向传播中没有参数更新,因此只需要根据池化方法将误差分配到特征图的合适位置即可,对极大池化,所有误差会被赋予到极大值所在位置;对均值池化,误差会平均分配到整个池化区域。


卷积神经网络通常使用BP框架内的随机梯度下降(Stochastic Gradient Descent, SGD)和其变体,例如Adam算法(Adaptive moment estimation)。SGD在每次迭代中随机选择样本计算梯度,在学习样本充足的情形下有利于信息筛选,在迭代初期能快速收敛,且计算复杂度更小。

 

3.卷积神经网络应用

(来源于网络)

卷积神经网络长期以来是图像识别领域的核心算法之一,并在学习数据充足时有稳定的表现。对于一般的大规模图像分类问题,卷积神经网络可用于构建阶层分类器(hierarchical classifier),也可以在精细分类识别(fine-grained recognition)中用于提取图像的判别特征以供其它分类器进行学习。

 

在语音处理(speech processing)领域,卷积神经网络的表现被证实优于隐马尔可夫模型(Hidden Markov Model, HMM)、高斯混合模型(Gaussian Mixture Model, GMM )和其它一些深度算法。