神经网络到卷积神经网络推导与实践
摘要
卷积神经网络Co
volutio
alNeuralNetworkCNN是一种源于人工神经网络NeuralNetworkNN的深度机器学习方法,近年来在图像识别领域取得了巨大的成功。CNN由于采用局部连接和权值共享,保持了网络的深层结构,同时又大大减少了网络参数,使模型具有良好的泛化能力又较容易训练。NN的训练算法是基于梯度下降的错误反向传播(BackPropagate,BP)算法,CNN的训练算法是BP算法的一种变形。本文从梯度下降的数学推导中总结了NN训练过程中的错误信号传播和权重修改策略,用切割小图训练共权神经网络的方式解释了CNN中的卷积过程,并以特殊卷积的方式解释了CNN的子采样过程,最后将NN的错误信号传播和权重修改策略移植到CNN的训练中。我们将推导出的CNN训练方法用C编码实现,用CNN应用最早最典型的手写数字识别问题验证被编码的推导过程,得到了正确的效果。
I
f卷积神经网络研究及其在基音检测中的应用
目录
摘要I目录II图目录III第三章神经网络与卷积神经网络1
31神经网络1311单层感知机3312单输出多层感知机7313多输出多层感知机8
32卷积神经网络10321卷积神经网络的常用结构11322卷积与子采样12323卷积与权值共享13324CNN训练过程中的三次卷积过程14325r