龙源期刊网httpwwwqika
comc
数据存储技术研究
作者:于赛赛来源:《商情》2017年第36期
【摘要】信息技术的高速发展推动人类社会全面进入数字时代,突出表现在信息总量和交换量的迅猛增长,不断出现新兴的应用领域。传输、处理和存储如此庞大的数据量使存储系统面临前所未有的机遇和挑战。本文在对当前的数据存储技术研究的基础上,介绍了基本存储设备和基本存储设施;讨论了存储技术存在的问题;分析了数据存储优化的途径。【关键词】数据存储存储设备优化由硬盘作为基本单元,通过各种总线、网络连接成不同层次和不同规模的存储系统,构成了我们目前的存储系统。由于存储成本的大幅下降,数据的收集不再存在固有的局限性,大量信息可以被廉价地捕获和记录。此外,数据也并不仅限于特定的用途,它可以为同一目的而被多次使用,也可用于其他目的,其价值从最基本的用途转变为未来的潜在用途。一、数据存储技术概述在计算机系统中存储系统具有层次性的结构,根据与处理器的距离可分为多个层次,每个层次的存储器在数据存取时间、数据传输带宽和容量上是不同的。如下图所示,第0层一般是指处理器的内部寄存器组、一级、二级和三级Cache;第1层是指主板上的随机存储器,习惯称为内存或主存储器。处理器可以通过指令直接访问随机存储器中的数据。一般而言,第2层以下统称为外部存储器。相对于内存储器,外存储器不能被处理器直接访问,必须通过IO通道进行存取。但是外部存储器可以提供廉价的、大容量和非易失的数据存储能力。典型的外存储器就是硬盘(磁盘或固态硬盘)。目前流行的是以网络连接的方式挂载到本地计算机的存储方式,由于与硬件无关,它提供巨大的便捷性。二、数据存储技术存在的问题存储技术面临的主要问题可归纳为如下几个方面:(1)大数据存储架构的挑战:磁盘读写性能差,与主存的速度差距正在逐渐增大,使得传统的主存一磁盘存储架构越来越无法适应大数据管理的要求。(2)大数据管理算法的挑战:随着新型存储介质越来越多地被运用于大规模分布式存储中,大规模分布式数据库中传统的持久化策略、索引结构、查询执行、查询优化、恢复策略等均是基于磁盘存储设计的,新型存储介质具有完全不同于磁盘的物理特性,因此无法发挥新型存储的优势。
f龙源期刊网httpwwwqika
comc
(3)大数据管理的能耗挑战:能耗在现有大型数据管理系统(通常是数据中心)中的费用比例逐年升高(目前大约占总能耗的16左右),给企业带r