全球旧事资料 分类
北京永洪商智科技有限公司
永洪大数据技术白皮书
Yo
gho
g在大数据、分布式计算、数据分析等领域具备核心竞争力、自主创新并拥有多项发明专利。Yo
gho
g研发团队推出的商业智能平台Yo
gho
gZSuite,是由一系列基于MPP架构的商业智能产品组成。
Yo
gho
gZSuite是发现型的商业智能产品,她具备丰富的数据分析能力。当用户访问数据应用的时候,如果看到商业活动的异常或者变化时,除了数据展现,我们更需要的是能够通过即席的、深入的分析以获取现象背后的深层次原因。基于ZSuite,用户可以不断地与数据对话(Talk),深入分析信息A
alyze,直到得到满意的答案。
Yo
gho
gZSuite具有高性能的大数据分析能力,她完全摒弃了向上升级ScaleUp,全面支持横向扩展ScaleOut。Yo
gho
gZSuite主要通过以下核心技术来支撑TBPB级的大数据。
1
f北京永洪商智科技有限公司
1Yo
gho
gZSuite技术架构
图一技术架构图
2
f北京永洪商智科技有限公司
11关键技术
111并行计算MPPComputi
g
Yo
gho
gZSuite是基于MPP架构的商业智能平台,她能够把计算分布到多个计算节点,再在指定节点将计算结果汇总输出。Yo
gho
gZSuite能够充分利用各种计算和存储资源,不管是服务器还是普通的PC,她对网络条件也没有严苛的要求。作为横向扩展的大数据平台,Yo
gho
gZSuite能够充分发挥各个节点的计算能力,轻松实现针对TBPB级数据分析的秒级响应。
112库内计算I
DatabaseComputi
g
Yo
gho
gZSuite支持各种常见的汇总,还支持几乎全部的专业统计函数。得益于库内计算技术,Yo
gho
gZSuite数据分析引擎将找寻出最优化的计算方案,继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算,称之为库内计算I
Database。这一技术大大减少了数据移动,降低了通讯负担,保证了高性能数据分析。
3
f北京永洪商智科技有限公司
113列存储Colum
Based
Yo
gho
gZSuite是列存储的。基于列存储的数据集市,不读取无关数据,能降低读写开销,同时提高IO的效率,从而大大提高查询性能。另外,列存储能够更好地压缩数据,一般压缩比在510倍之间,这样一来,数据占有空间降低到传统存储的15到110。良好的数据压缩技术,节省了存储设备和内存的开销,却大大了提升计算性能。
114内存计算I
MemoryComputi
g
得益于列存储技术和并行计算技术,Yo
gho
gZSuite能够大大压缩数据,并同时利用多个节点的计算能力和内存容量。一般地,内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算,CPU直接从内存而非磁盘上读取数据并对数据进行r
好听全球资料 返回顶部