全球旧事资料 分类
务为3大中心,云端共存、云端互动是未来计算架构发展趋势。云客户端既包括传统的PC机、笔记本,也包括手机、PDA、汽车移动终端和家电终端等智能移动设备。主要研究多种形态的云客户端接入技术、多模式客户端服务环境。面向云计算典型行业应用需求,需要研制多种形态,支持三网融合的轻量级云客户端接入技术,为用户提供简单易用的云计算服务;面向典型行业应用众多用户的个性化需求,研究多模式的客户端自适应云服务软件环境。大数据并非一项技术,其前身是商务智能BI。大数据是一系列信息技术的集合,包括数据采集、数据管理、计算处理、数据分析和数据展现5个关键技术环节。其中,数据管理、计算处理和数据分析3个环节的变革较大。数据采集主要是从本地数据库、互联网、物联网等数据源导入数据,包括数
f据的提取、转换和加载。由于数据源不一样,数据采集的技术体系也不尽相同。其面临的挑战主要来自两方面,一是如何自动实现对接收的海量数据按照特定策略进行过滤,从而大幅度降低后续存储和处理的压力;二是如何自动生成元数据,准确描述数据出处,获得途径和环境等背景信息,并且将企业内部的数据与互联网的元数据相关联,进行多维元数据分析。不同行业对于元数据的录制要求不尽相同。
大数据对存储管理技术的挑战主要在于扩展性。首先是容量上的扩展,要求底层存储架构和文件系统以低沉本的方式及时按需扩展存储空间。传统的NAS、SAN等存储架构下,存储和计算分离,进行数据计算时IO容易成为瓶颈,文件系统也存在吞吐量和可扩展性差的问题。新的以谷歌GFS和HadoopHDFS为代表的系统中,普遍采用了分布式的存储架构,使得计算和存储节点合一,消除了IO瓶颈,文件系统也采用分布式并行设计。但GFSHDFS主要针对大文件的追加(Appe
d)写入和读取进行了优化。下一步的重点是突破GFSHDFS在写操作、小文件存取等方面的性能瓶颈,设计新的文件系统。其次是数据格式可扩展,满足各种非结构化数据的管理需求。
对大数据进行分析处理要消耗大量的计算资源,这对计算的速度和成本都提出了更高要求。采用并行计算是应对大计算量的普遍做法。但传统的并行计算系统,一般由专用的性能强大的硬件构成,造价昂贵,若想提高系统性能,需要采取纵向扩展(ScaleUp)的方式,即通过提升单机CPU性能、增加内存、扩展磁盘等达到性能提升。这种扩展容易达到瓶颈,难以支撑持续的计算能力扩展,而且成本很高。总结起来,下一步大数据计算技术的主要方r
好听全球资料 返回顶部