龙源期刊网httpwwwqika
comc

大数据时代的数据分析与挖掘
作者：胡佳来源：《中国新通信》2014年第23期
【摘要】不断形成与发展的新型服务推动着人类经济社会项目的数据形式与规模向着更快、更准的方向发展，这无疑也预示着现代大数据时代正朝着我们推进。众所周知，数据并不单单是一项解决问题的手段，数据的种类逐渐从原有的结构模式向现今的结构化、半结构化以及非结构化的数据模式转换，这也预示着数据已不再只是一项简单的工具，而已逐渐作为一项较为基本的资源。那么应当如何正确、合理地应用现代数据呢？应当如何分析、研究数据资源？这已经逐渐成为当代人较多关注的问题。【关键词】大数据数据分析数据研究目前，无论是在社会用人单位或者是个体方面都会涉及与处理相关数据信息的问题，社会大众在应用数据信息之际也被社会诸多的数据信息所围绕，即使现代社会数据信息的发展情况较为良好、也让社会大众更为信服，然而在社会大众对大数据的印象观念中，数据形式的发展已经超过了他们所预想的、数据总量已经超过社会大众所理解的范畴，应当如何正确、有效地处理该部分数据信息已经变为现代社会大众共同面对的问题，需求人们谨慎地对待。一、实施数据分析的方法正确地对数据进行分析过程已经作为大数据时代对待信息量极大的数据处理的关键性环节。即使大数据的优势较为突显，但仍然在处理阶段存有务必解决的3大问题：大容量数据、分析速率以及多格式的数据。11HadoopHDFSHadoopHDFS主要是采用流失数据询问形式进而实现容量较大文件的储存，主要是运用在商业化硬件群体中，而所谓的商业化硬件群体，即是区别于低端硬件，且相对于低端硬件群体而言其产生问题的机率是大大地降低的。Hadoop可以不用在价格较高且可信度高的硬件上运用，即便是面对产生问题机率较高的群体，HDFS在面对问题之际仍然会采取继续运用的手法而且与此同时不会让用户发现较为突兀的间断问题，这样的理念从本质上大大地减少了针对机器设备的维修维护费用，特别是对于同时监管成千上万部机器设备的用户。12Hadoop的优点与不足Hadoop是一项可以针对诸多数据实行分布型模式解决的软件架构，与此同时其处理过程主要是依据一条可信、有效、可伸缩的途径进行的，这点也是Hadoop所独有的优点。然而众所周知，每样事件都不能做到完全的完美，Hadoop与其它新兴的科学技术相同，一定的不足在实际应用过程中变得日益明显：第一，现阶段的Hadoop针对企业内外部信息的维护、保护r