础设施服务时,可以显著提高开发者在云环境中部署和运行应用程序的能力。
云平台的介绍:
GOOGLE云平台的四个系统:1、GoogleFileSystem文件系统:为了满足Google迅速增长的数据处理需求,Google设计并实现了Google文件系统GFS(GoogleFileSystem。GFS与过去的分布式文件系统拥有许多
f相同的目标,例如性能、可伸缩性、可靠性以及可用性。然而,它的设计还受到Google应用负载和技术环境的影响。主要体现在以下四个方面1集群中的节点失效是一种常态,而不是一种异常。由于参与运算与处理的节点数目非常庞大,通常会使用上千个节点进行共同计算,因此,每时每刻总会有节点处在失效状态。需要通过软件程序模块,监视系统的动态运行状况,侦测错误,并且将容错以及自动恢复系统集成在系统中。2Google系统中的文件大小与通常文件系统中的文件大小概念不一样,文件大小通常以G字节计。另外文件系统中的文件含义与通常文件不同,一个大文件可能包含大量数目的通常意义上的小文件。3Google文件系统中的文件读写模式和传统的文件系统不同。在Google应用中对大部分文件的修改,不是覆盖原有数据,而是在文件尾追加新数据。对文件的随机写是几乎不存在的。对于这类巨大文件的访问模式,客户端对数据块缓存失去了意义,追加操作成为性能优化和原子性把一个事务看做是一个程序。它要么被完整地执行,要么完全不执行保证的焦点。4文件系统的某些具体操作不再透明,而且需要应用程序的协助完成,应用程序和文件系统API的协同设计提高了整个系统的灵活性。总之,GFS是为Google应用程序本身而设计的。据称,Google已经部署了许多GFS集群。有的集群拥有超过1000个存储节点,超过300T的硬盘空间,被不同机器上的数百个客户端连续不断地频繁访问着。2、MapReduce分布式编程环境:为了让内部非分布式系统方向背景的员工能够有机会将应用程序建立在大规模的集群基础之上,Google
f还设计并实现了一套大规模数据处理的编程规范MapReduce系统。这样,非分布式专业的程序编写人员也能够为大规模的集群编写应用程序而不用去顾虑集群的可靠性、可扩展性等问题。应用程序编写人员只需要将精力放在应用程序本身,而关于集群的处理问题则交由平台来处理。MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念Map(映射)和Reduce(化简),和他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。3、分布r