资料收集于网络,如有侵权请联系网站删除
深度学习在自然语言处理中的应用
李晟群
摘要:近年来,深度学习在图像和语音处理领域已经取得显著进展,但是在
同属人类认知范畴的自然语言处理任务中,研究还未取得重大突破本文通过分析目前国内外部分专家学者对面向自然语言处理的深度学习研究的总体概况,梳理、总结了相关文献,介绍深度学习的基本概念;分析讨论了当前面向自然语言处理的深度学习研究进展及应用策略和深度学习的平台和工具;对深度学习在自然语言处理处理领域的发展趋势和有待深入研究的难点进行了展望
关键词:自然语言处理,深度学习,神经网络
1前言
深度学习在图像的语音领域取得了突出成果,但是在自然语言处理上还未取得重大突破,与语音和图像不同,语言是一种经过人类大脑产生并加工处理的符号系统,似乎模仿人脑结构的人工神经网络应该在自然语言处理领域拥有更多优势,但实际情况并非如此同时,近几十年来,基于统计的模型成为自然语言处理非主流方法之后,属于统计方法典型代表的人工神经网络在自然语言处理领域依然没有得到足够重视当然,这一切在2006年Hi
to
等提出深度学习1以后,情况发生了变化,当前结合深度学习模型开展自然语言处理相关应用已经取得了一定成果,并成为研究热点之一本文主要对深度学习在自然语言处理领域的研究概况进行总结,并且指出当前存在的问题和对未来的发展方向进行一个探讨
2深度学习的基本概念
深度学习(Deeplear
i
g)通过建立深层神经网络,模拟人脑的机制进行解只供学习与交流
f资料收集于网络,如有侵权请联系网站删除
释并分析学习图像、语音及文本等数据,是目前机器学习研究中的一个热点领域传统机器学习工作的有效性,很大程度上依赖于人工设计的数据表示和输入特征的有效性;机器学习方法在这个过程中的作用仅仅是优化学习权重以便最终输出最优的学习结果与传统机器学习方法不同的是,深度学习试图自动完成数据表示和特征提取工作;并且深度学习更强调,通过学习过程提取出不同水平、不同维度的有效表示,以便提高不同抽象层次上对数据的解释能力从认知科学角度来看,这个思路与人类学习机理非常吻合
3深度学习在自然语言处理领域的研究概况
神经网络和深度学习模型首先是在计算机视觉等领域取得了进展,而在自然语言处理领域,其获得大量应用的时间相对较晚从二十一世纪初开始,一些将神经网络和深度学习应用在自然语言处理领域的文章被陆续发表
Be
gioetal(2003r