龙源期刊网httpwwwqika
comc

基于3DCNN的大规模视频手势识别研究
作者：苗启广李宇楠徐昕来源：《中兴通讯技术》2017年第04期
摘要：提出了一种基于三维卷积神经网络（CNN）的大规模视频手势识别算法。首先，为了获得统一尺度的输入数据，在时域上对所有输入视频进行了归一化处理得到32帧的输入视频；然后，为了从不同的角度描述手势特征，通过真彩（RGB）视频数据生成了光流视频，并将RGB视频和光流视频分别通过C3D模型（一个3DCNN模型）提取特征，并通过特征连接的方式加以融合输入到支持向量机（SVM）分类器来提高识别性能。该方法在Chalear
LAP独立手势数据集（IsoGD）的验证集上达到了4670的准确率。关键词：手势识别；三维卷积神经网络；光流；SVM手势是一种交流的形式，它指的是利用人的肢体动作来说明其意图或态度的行为。由于在视频监测控制、标志语言理解、虚拟现实和人机交互等领域有着巨大的应用前景，越来越多的研究人员开始研究手势识别算法，以实现将人类手势解释给机器的目标。手势识别最早期的研究是从20世纪80年代开始，是一种典型的涉及到各方面知识的研究。为了对人体动作的含义加以识别，研究人员先后使用了大量不同种类的方法。早期的大部分方法都是基于复杂的人工制作特征。Stamer和Pe
tl1首先利用隐马尔科夫模型（HMM）进行美国手语的相关研究；Elmezai
2等利用HMM模型对手势的动态轨迹进行了识别；Sgouropoulos等人3将神经网络方法和HMM方法结合使用，可提高动态手势的识别效果，并且该方法具有光照鲁棒性。Wa
等人将尺度不变特征变换（SIFT）特征加以扩充，得到3D增强动作SIFT（EMoSIFT）4和3D稀疏动作SIFT（SMoSIFT）5，并通过稀疏关键点混合特征（MFSK）6来进行手势识别。随着近来深度学习技术的蓬勃发展，利用深度神经网络实现手势识别受到了研究者的广泛关注，且相对于传统手工特征方法，在识别率上也取得了重大突破。Karpathy等人7利用卷积神经网络（CNN）来实现手势行为识别；Simo
ya
和Zisserma
8利用一个双流CNN网络同时提取手势视频中的时域和空域的特征；Tra
等人9提出了一个3DCNN模型C3D模型，解决了基于视频的手势识别需要同时处理时域和空域的特征这一问题。在文章中，我们提出了一种基于同源数据融合的大规模的手势识别方法。首先，我们通过对数据分布特征的分析，将所有帧数不一的视频进行预处理，获得统一的帧数为32帧的视频；随后，我们由真彩（RGB）视频生成了光流视频，以进一步提取动作信息，同时r