龙源期刊网httpwwwqika
comc
浅谈深度学习
作者：谢毅陈兴国来源：《科教导刊电子版》2015年第04期
摘要2006年以来，机器学习领域中一个叫“深度学习”的研究方向开始受到学术界广泛关注，到现在已经成为大数据和人工智能的一个热点。深度学习通过建立类似于人类大脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，建立从底层信号到高层语义的映射关系。近年来，谷歌、微软、百度等高科技公司相继投入大量资源进行深度学习技术研发，在语音、图像、自然语言等领域取得显著进步。本文将对深度学习发展的过去和现在做一个介绍，说明深度学习所面临的挑战和将来的方向。
关键词深度学习机器学习
中图分类号：TP181文献标识码：A
1从浅层学习到深度学习
在了解深度学习之前，我们先了解什么是机器学习。机器学习属于人工智能的，通过算法使得机器能从大量历史数据中学习规则，从而对新的样本做出智能识别或对未来做出预测。从20世纪80年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习（shallowlear
i
g）和深度学习（deeplear
i
g）。
11浅层学习
20世纪80年代，用于人工神经网络的反向传播算法（BackPropagatio
）给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示了优越性。这个时候的人工神经网络，虽然也被称为多层感知机，实际使用的只是含有一层隐层节点的浅层模型。
20世纪90年代，各种各样的浅层机器学习模型相继被提出，比如支撑向量机（supportvectormachi
es，SVM），Boosti
g，最大熵方法（比如logisticregressio
，LR）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM，Boosti
g），或没有隐层节点（如LR）。
互联网的高速发展，对大数据的分析和预测提出了需求，浅层学习模型在互联网应用上获得了成功，包括搜索广告系统（例如谷歌的Adwords、百度的凤巢系统）、广告点击率CTR预估、基于内容的推荐等。
f龙源期刊网httpwwwqika
comc
12深度学习
2006年，加拿大多伦多大学教授Hi
to
和他的学生在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章表达了两个观点：（1）很多隐层的人工神经网络具有优异的特征学习能力；（2）深度神经网络在训练上的难度，可以通过“逐层初始化”来克服。
2010年，美国国防部DARPAr