Ope
MPI,低版本可以在wi
dows上使用。最新的MPI31标准在2015年6月发布,不支持容错性,预计两年后发布的MPI40支持新的容错性。在wi
dows环境下,推荐使用微软为高性能计算开发的MSMPI。2015年11月发布当前最新的70版本,相比之下MPICH与Ope
MPI都在2011年停止了对wi
dows的更新,只能通过安装li
ux虚拟运行环境使用。微软专为wi
dows开发了一套高性能集群计算的库MicrosoftHPCPack,通过HPCPack可以使用一台装有wi
dowsserver系统的电脑做为主节点进行MPI任务的管理,其余电脑作为计算节点进行计算。
2CUDA(ComputeU
ifiedDeviceArchitecture)
CUDA是显卡厂商NVIDIA推出的并行计算平台和编程模型,专为NVIDIA显卡进行计算加速而设计,通过更为简单的模型提高了显卡并行运算的易用性。在高性能计算领域,GPU的计算能力远高于CPU。最新的NVIDIA专用于科学计算的显卡TESLAK80的双精度性能将近3TeraFLOPS,内存总带宽高达480GBs。CUDAToolkit为C程序员开发GPU程序提供了全面的开发环境,包含NVIDIAGPUs编译器,数学库,调试优化工具等。地质建模中的数学计算可以调用其中的数学库进行加速:cuBLASBasicLi
earAlgebraSubrouti
es,是标准的BLAS库的完整实现,可以进行基本线性代数的运算,相比最新的MKL库有6倍至17倍的加速。cuSPARSESparseMatrixRouti
es包含一系列对于稀疏矩阵的线性代数运算,通过显卡的加速可以比最新的MKL库速度上快8倍。(数据来自httpsdeveloper
vidiacomcudatoolkit)
3ApacheHadoop
Hadoop是一个开发和运行处理大规模数据的软件平台,Apache基金会下用Java语言编写的顶级项目之一,实现了在大量计算机组成的集群下对海量数据的分布式计算,并且一度成为大数据处理的代名词。Hadoop是Google提出的MapReduce框架与GoogleFileSystem(GFS)的开源实现,主要由HDFS、MapReduce、YARN以及一系列的生态系统组成。HDFS是Hadoop对于分布式文件管理的系统,通过文件备份、虚拟化等方式实现了良好的可扩展性、容错性和虚拟化,用户可以无需关心细节直接当做
f一般的文件系统进行使用。MapReduce框架是Hadoop的离线计算框架,可以在集群中对海量数据进行并发处理,由于在计算过程中需要将中间结果保存到磁盘并且不能灵活进行迭代处理,这一框架有被HadoopTez与Spark框架取代的趋势。YARN是Hadoop的资源管理框架,可以对大规模集群的计算资源进行管理,Hadoop的生态系统中的其它库都在YARN的框架上进行调度。
4ApacheSpark
ApacheSpark是云计算领域对于大数据处理的著名开源引擎。最初在2009年由加r