龙源期刊网httpwwwqika
comc
分布式文件系统的应用研究
作者：崔力升来源：《科技视界》2014年第02期
【摘要】分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。为本地文件系统提供访问接口，而且用户可以直接对数据进行访问和管理远程，不同的节点上存储它所管理的数据，而且可能有元数据服务器拥有对多个提供元数据的操作。
【关键词】分布式文件系统；海量存储；Google文件系统；Hadoop文件系统
1Google文件系统
Google文件系统（GoogleFileSystem，GFS），它能运行在不可靠硬件设备上，对PB级别海量的数据进行处理，并且能同时多个用户并发访问服务器集群。文件系统中存放的数据绝大部分采用追加新数据而非覆盖现有数据的方式进行写操作。除了考虑到这些需要和技术特点后，GFS也考虑了分布式文件系统的共性设计目标：高可用性，大容量数据存储和调度，简单的负载均衡和冗余。
图1是Google文件系统的文件架构图。
2Hadoop文件系统
Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是一个设计为用在普通硬件设备上的分布式文件系统。将其运行于计算机集群上，完成海量数据的计算，还包含了一个分布式文件系统HDFS（HadoopDistributedFileSystem）。
Hadoop具有如下优势：
1）具有更高的可用性，可以容忍多个节点同时失效
2）具有更好的可扩展性，而且能够实现在线的动态扩展
3）分布式的元数据管理，消除集中管理的瓶颈
4）采用类似于内存数据库的方式存储元数据，提供了元数据的访问速度
5）配置简单，方便管理，具有很好的实用性
f龙源期刊网httpwwwqika
comc
HDFS是主从结构的。一个集群有一个名字结点，也就是主控制服务器，负责管理文件系统的名字空间并协调客户对文件的访问。还有很多数据结点，一般一个物理结点上部署一个，负责它们所在的物理结点上的存储管理。HDFS开放文件系统的命名空间，用户能够以文件的形式在上面存储数据。在HDFS中，也是以块的形式储数据（同GFS一样，文件被分成块来存储），这些数据块存储在一组数据结点中。名字结点执行文件系统的名字空间操作（比如打开、关闭、重命名文件或目录，还决定数据块到数据结点的映射）。数据结点负责提供客户的读写请求。名字结点对数据结点的数据块进行统一调度。
Hadoop分布式文件系统中的MapReduce是核心计算模型，它有一个基本要求：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并r