大数据论文
摘要数据发展到今天，已不再是一个新的概念，基于大数据技术的
应用也层出不穷，但作为一项发展前景广阔的技术，其很多作用还有待挖掘，比如为人们的生活带来方便，为企业带来更多利益等。现今，互联网上每日产生的数据已由曾经的TB级发展到了今天的PB级、EB级甚至ZB级。如此爆炸性的数据怎样去使用它，又怎样使它拥有不可估量的价值呢？这就需要不断去研究开发，让每天的数据“砂砾”变为“黄金”。那么如何才能将大量的数据存储起来，并加以分析利用呢，大数据技术应运而生。大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化的处理。本文就大数据技术进行了深入探讨，从大数据的定义、特征以及目前的应用情况引入，简述了大数据分析的统计方法、挖掘方法、神经网络方法和基于深度学习框架的方法，并对大数据分析流程和框架、大数据存储模式和服务机制、大数据分析中的多源数据融合技术、高维数据的降维技术、子空间分析、集成分析的处理方法等做了概述。最后，以网络信息安全为例，阐述了该领域的大数据分析过程和方法。
关键词大数据；数据挖掘；深度学习；大数据分析；网络信息安全
一、大数据概述
11大数据的定义和特征
f目前，虽然大数据的重要性得到了大家的一致认同，但是关于大数据的定义却众说纷纭。大数据是一个抽象的概念，除去数据量庞大，大数据还有一些其他的特征，这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。一般意义上，大数据是指无法在有限时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。科技企业、研究学者、数据分析师和技术顾问们，由于各自的关注点不同，对于大数据有着不同的定义。通过以下定义，或许可以帮助我们更好地理解大数据在社会、经济和技术等方而的深刻内涵。2010年ApacheHadoop组织将大数据定义为，“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。在此定义的基础上，2011年5月，全球著名咨询机构麦肯锡公司发布了名为“大数据：下一个创新、竞争和生产力的前沿”的报
告，在报告中对大数据的定义进行了扩充。大数据是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集。该定义有两方而内涵：（1）符合大数据标准的数据集大小是变化的r